購入とコスト

RTX 3090から買い替えるべき？ローカルAIで先に確かめたいこと

新しいGPUの表を見ると、手元のカードが急に古く感じられます。しかし、買い替えと新規購入では基準が違います。単体のコストパフォーマンスではなく、追加で払う金額に見合うだけ自分の不便が減るかを考えます。

交換前にGPUへの配置を確認する

遅さの原因はカード性能とは限りません。モデルの一部がCPUに配置されていたり、想定した高速化が使われていない場合もあります。Ollamaなら実行後にollama psのPROCESSOR欄を確認します。CPUとGPUへの分割は、全体がGPUに収まるベンチマークとは別条件です。他のアプリのVRAM使用も確認しましょう。小さなモデルと短い入力で正常な動作を確かめると、交換ではなく設定変更で済むかもしれません。

何が遅いのかを一文にする

コードが一行ずつ出る間が遅いのか、長文を渡して最初の文字を待つのかを書き出します。一つの生成速度では両方を説明できません。今でも快適な作業も一つ残し、改善したい方を比較の基準にします。同じモデル、量子化、入力長で、入力処理込みと生成のみを切り替えてください。ある作業で速いカードが、すべてを同じ割合で速くするとは限りません。

容量が必要なら判断は変わります

今のモデルは快適でも、必要な別モデルが収まらないなら、同容量で速くするだけでは解決しません。必要なファイルとコンテキストの容量を先に決めます。新しいという理由だけで選んだモデルなら、小さな代替も自分の作業で試す価値があります。大型モデルが回答を改善するかと、大きな装置に載せられるかは別の問題です。この順に確かめれば、容量だけ増えて普段の結果は変わらない買い物を避けやすくなります。

売却見込み額を確定の値引きにしない

新品価格から中古の出品価格を引くと、交換が安く見えることがあります。しかし実際の売却額や時期は確定していません。電源、ケース寸法、ケーブル、冷却条件も確認します。部品交換とPC全体の購入費用を混ぜないでください。旧カードがすぐ売れなくても払える総額を書き、売却分は別に扱います。TCOも実際に選んだ構成の価格を入れて初めて役立ちます。

今回は買い替えないという結論も残す

毎日の質問が十分に処理でき、待つ間に別のことができるなら、数字だけを理由に急ぐ必要はありません。必要なモデルが収まらない、待ち時間で予定が遅れるなど、交換する条件を決めておきます。比較画面の左側には今の装置を残しましょう。判断の基準を失わずに済みます。予測速度で傾向をつかみ、大きな支出の前には同じ条件で再現できる記録も確認してください。