RTX 3090を持っているのに、ローカルAIのためにグラフィックカードを買い替えるべき？

Qwen3.8-27Bをダウンロードするときは、量子化³で容量を抑えたQ4ファイルをまず選んでください。Q5より約3.3GB小さいため、文書処理や会話の継続に使える余裕を残せます。

Qwen3.8-27Bのファイル一覧 · Unsloth

24GBのうち、モデルファイル以外の領域は実行プログラムとKVキャッシュ⁴が使います。文書が長くなり会話が蓄積すると、KVキャッシュも大きくなります。Q4で短い文書は要約できるのに長文で止まる場合は、実行プログラムとKVキャッシュ用の領域が足りているか確認してください。

Q5に切り替える前に、同じ文書へ同じ質問をしてみてください。要約で重要な内容が抜けていないか、日付や数字が正しいか、追加の質問に原文を根拠として答えているかを比べます。Q4で必要な結果が得られるなら、より大きなファイルに変える必要はありません。

Q8ファイルはそれだけで約29GBあり、RTX 3090 1枚のVRAM⁵を超えます。Q8をすべてGPUに載せて実行するには、GPUを追加するか、より大容量のVRAMを搭載したカードに交換する必要があります。

Ollamaで質問を送ったあと、別のターミナルを開いて次のコマンドを入力してください。

Ollamaの実行状態を確認

モデルの一部がシステムRAM⁶にあると、CPU⁷も計算を行い、GPUとの間でデータをやり取りします。使っていないモデルやアプリを閉じてGPUに載る割合が増え、回答が速くなれば、新しいカードを買わずに待ち時間を減らせたことになります。

長い文書だけで止まる場合は、コンテキスト長の設定も確認してください。文書に必要な長さを大きく上回る値なら、下げてみます。文書と追加質問に必要な長さは確保してください。設定を調整しても必要な文書を入力できない場合に、GPUの追加や交換を検討しましょう。

RTX 3090でQwen3.8-27B Q4_K_Mを実行する場合、サイトの計算ツールによる生成速度の予測は42.3~46.9 tok/sです。500トークンの生成には約11~12秒かかり、これに文書の処理時間が加わります。

入力と出力の長さをそろえると、買い替えで待ち時間がどれだけ減るか比べやすくなります。以下は4,096トークンの入力を処理してから500トークンの回答を生成する例です。モデルは事前に読み込み済みで、リクエストは一度に1件ずつ送信し、保存されたプロンプト⁸計算は再利用しない条件です。

計算ツールの予測 · 入力4,096トークン / 出力500トークン · 完了時間 = 入力処理時間 + 残り499トークンの生成時間。RTX 3090の設定 · RTX 5090の設定

代表的な速度で計算すると、約17秒と3秒です。次の質問を送るために回答の完了を待つことが1日30回あるとすると、1回あたり約14秒、1日で約7分の差になります。要約を待つ間に別の作業をする人には小さな差でも、回答を受け取ってすぐ文書を直す人には頻繁に体感されるかもしれません。

長文を送ったあと最初の文字が出るまで時間がかかるなら、入力を読むプリフィル⁹速度を比べてください。回答はすぐ始まるのに文章がゆっくり続く場合は、回答トークンを生成するデコード¹⁰速度を比べます。文書の要約や追加質問を早く終えるには、最初の応答までの待ち時間と回答全体が完了するまでの時間を両方比べてください。プリフィルとデコード

RTX 5090に買い替える際は、カードの価格だけでなく実行環境の移行も考慮してください。上の比較で使った高速構成は、vLLMでNVFP4¹¹モデルとMTP-2を同時に実行します。現在Ollamaで使っているGGUF¹²ファイルではなく、vLLMのNVFP4・MTP¹³構成に対応したモデルファイルを用意する必要があります。

RTX 5090の公開実行記録

公開実測 · 2026-09-05 · 出力上限256トークン · vLLM 0.28.0 / NVFP4 / FP8¹⁴ KVキャッシュ / MTP-2 / ドライバー610.43.02 · GPUのみで実行 · 同時リクエスト1件 · プロンプトキャッシュ未使用 · 条件ごとに3回測定した中央値。ベンチマークと実行構成

約8,000トークンでは回答が約2秒で完了しましたが、約30,000トークンでは最初の応答が始まるまで約3.6秒かかりました。長文をよく処理する場合は、実際に使う長さでも待ち時間が短くなるか確認してください。

RTX 5090のVRAMは32GBで、3090より8GB多い容量です。Q8ファイルもサイズだけで選ばず、モデルを読み込んだあと文書や会話に使う領域が残るか確認してください。高速なNVFP4・MTP構成を使う場合は、まず公開されている導入手順を読み、自分のOSで必要な準備を整理するとよいでしょう。RTX 5090の仕様 · 入力長を変えて2つのGPUを比較

既存の3090を残して別のNVIDIA GPUを追加すれば、llama.cppでモデルを2枚のカードに分けて載せられます。16GBのGPUを追加すると物理VRAMの合計は40GB、24GBのGPUなら48GBです。約29GBのQ8ファイルを分割して載せる選択肢ができます。

モデルを分割して実行するときは、各カードに実行プログラムとKVキャッシュ用の領域を残してください。カードごとの空き容量に合わせてモデルを配分するには、llama.cppの--split-mode layerと--tensor-splitを使います。接続方法や分割比率も回答速度に影響します。llama.cppのGPU分割設定

GPUを追加する前に、スロット・冷却・電源を確認してください。

1. マザーボードに空きPCIeスロットがあるか、2つ目のスロットが何レーンで接続されるか確認します。

2. 2枚のカードがケースに収まり、互いのファンを塞がないか確認します。

3. 2枚のカードとCPUに給電できる電源容量とコネクターがあるか確認します。

モデルファイルが大きすぎて実行できない場合は、GPUの追加が役立ちます。一方、Q4がすでにGPU全体に載っていて回答を速くしたいなら、まず高速な単一GPUを比較してください。GPUを追加購入する前に、使うアプリが2枚のカードを同時に利用できる設定かも確認しましょう。

既存のRTX 3090搭載PCを再利用し、追加部品代と取り付け費を0円とした場合を比べます。GPUの購入費は確認済みの新品商品のうち最も低い表示価格で、送料と個別割引は含みません。両製品の価格確認日は2026-10-12です。

「追加」は16GBのRTX 5060 Tiを1枚増設する場合、「交換」は32GBのRTX 5090に載せ替える場合です。

カードの購入費だけで見ると、2つの選択肢の差は₩7,995,080です。40GBに分割してモデルを載せることが目的なら、GPUの追加を検討する価値があります。今使っているモデルの回答を速くしたいなら、容量より先ほど比較した待ち時間の差を見てください。

最終見積もりには、新しいGPUの価格に実際に交換する部品代と取り付け費を加えてください。GPU交換に伴って3090を売る場合は、取引完了後に実際に受け取った金額を差し引きます。GPUを追加する場合はスロットや冷却に必要な部品を加え、交換の場合は新しいカードのサイズや電力要件に合わせて変更が必要な部品だけを加えます。

電源ユニットも確認してください。GPUの定格電力は、3090が350W、5060 Tiが180W、5090 Founders Editionが575Wです。3090と5060 Tiの定格合計は530W、3090を2枚なら700Wです。電源を選ぶ際はCPUなど他の部品も加算し、購入するメーカー製カードの電源要件を確認してください。3090の仕様 · 5060 Tiの仕様 · 5090の仕様

電力消費やファンの騒音が気になる場合は、電力制限も試せます。GPUが使用する電力の上限を下げる設定です。RTX 3090でQwen3.8 27Bを実行した公開比較では、350Wから300Wに下げても生成速度の約95%を維持し、測定されたGPU電力は約14%減少しました。モデル・実行設定と電力別の結果は、電力制限ガイドで確認できます。

電力制限を使えば、カードのVRAMをそのまま利用しながら発熱と消費電力を抑えられます。回答がどの程度遅くなるかも比べて、希望する上限を決めてください。再起動や設定解除で元の電力に戻ることがあるため、電源容量とケーブルはカードの標準電力要件に合わせて準備します。

長時間稼働させる予定なら、購入費に加えて電気代と冷房費も見積もってください。電力制限後の実消費電力と1日の使用時間を入力すれば、現状維持・追加・交換それぞれの運用費を比べられます。設定方法と元に戻す方法

まず、普段使う文書と質問で回答を得てみてください。モデルを1度読み込んだあと同じ作業を3回実行し、最初の応答までの待ち時間、回答完了時間、実際の出力トークン数を記録します。3つの結果を並べ、中央の値を比べてください。

文書の要点が漏れなく要約されているか、回答が実際の作業に役立つかも評価してください。Q4とQ5を比べるときは同じ文書を使い、入力長・出力長・プロンプトキャッシュの有無を記録します。モデルの初回読み込み時間は、質問ごとの待ち時間と分けて記録してください。

実行時間をファイルに記録するには、サイトのローカル測定ツールを使えます。Node.js 20以降と、モデルを実行しているOpenAI互換サーバーが必要です。LM Studioなどを使う場合はローカルサーバーを起動し、表示されたアドレスとモデル名を控えてください。

1. 測定ツールと設定ファイルを同じフォルダーに保存します。

2. 設定ファイルのnullを、機材・モデル・実行プログラムの情報に置き換えます。outputTokensは500にし、コンテキスト長にはサーバーで設定した値を入力してください。

3. 次のコマンドで設定ファイルを確認してから測定します。例の1234とSERVED_MODELは、サーバーに表示されているポート番号とモデル名に置き換えてください。

測定ツールは所定の例文でウォームアップを1回行い、その後3回測定します。実行条件、実際の入出力トークン数、時間をmeasurement.jsonに保存します。測定リクエストは自分のPC上のサーバーにのみ送られ、結果がサイトへ自動送信されることはありません。自分の文書を使った試験とは分けて、基本応答速度を記録するために使えます。

Q4で必要な文書を要約でき、追加質問にも対応できるなら3090を使い続けてください。次の回答を待つ時間が不便でなければ、アップグレードにお金をかける必要はありません。

Q8やさらに大きなモデルを実行する必要があり、足りないのがVRAMなら、まずGPU追加の見積もりを取りましょう。既存PCのスロット・電源・冷却を確認し、使うプログラムが2枚のGPUに分けて実行できるか調べます。

使いたいモデルは問題なく動いているのに、回答待ちで作業が何度も中断されるなら、高速なGPUへの交換を検討する理由があります。普段の長さの文書で短縮できる待ち時間と実際の見積もりを比べてください。カードのグレードより、今の不便を新しいカードが解決するかどうかが重要です。