両側同時体験 · 推奨実行設定
RTX 5090の1枚と2枚、ローカルLLMに追加する価値はある？
1枚に収まらないモデルやリクエストの分担には2枚目が役立ちます。今のモデルが収まるなら、2枚への分割と1枚実行の速度を先に比べましょう。
比較されるデバイスとモデル
比較条件を展開する
同じ 203トークンごとの回答の予想時間です。公開測定があるアクセラレーションのみが自動的に選択され、各結果ではデバイスごとの実行フォーマットが表示されます。
左側
開始前RTX 5090 32GB
開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。
右側
開始前2× RTX 5090 64GB (PCIe)
開始ボタンを押すと、双方のデバイスが同時に同じ回答を生成します。
この条件の 全体完了時間両機器は似ています。
入力処理から203トークン回答完了までを比較します。
自分に合うのはどちら？
回答完了
似ている
この設定の全回答生成時間は似ています。
入力処理
似ている
現在の入力長におけるプリフィル性能は似ています。
画像・動画生成
生成モデル別に確認
LLMの速度だけでは判断できません。画像・動画のモデルと解像度を別途選んでください。
実行環境
機器別の設定
Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE / Strata 0.1.41 · IQ3_S · MTP-6 · INT8 KV · SSD PLE · GPU 1/2。実行環境が異なる場合、速度差にはソフトウェアやモデル形式の違いも含まれます。
推定消費電力
RTX 5090 32GB
LLM使用中の推定消費電力は約620Wで、こちらが低くなります。騒音と本体サイズは別途確認が必要です。
価格差の判断
RTX 5090 32GBはGPU単体、2× RTX 5090 64GB (PCIe)はGPU 2台の価格です。GPU単品については本体費用を加えた上で比較すべきです。
購入前に確認しておきたい項目
| 比較基準 | RTX 5090 32GB | 2× RTX 5090 64GB (PCIe) |
|---|---|---|
| 利用可能な高速メモリ | 30.5GB | 61GB |
| メモリ帯域 | 1792GB/s | 3584GB/s |
| 全体完了の予想 | 1.6秒 | 1.6秒 |
| LLM連続負荷の推定 | 約620W | 約1100W |
| 韓国の参考価格（ウォン） | 899〜929万ウォン | 1,798〜1,858万ウォン |
表示値は単一ユーザーの想定範囲です。マルチGPU・マルチデバイス構成では、ランタイムおよびインターフェイスによって実際の結果が異なる可能性があります。
モデルを分けるかリクエストを分担するか決める
大きなモデルを2枚へ分けると、計算中にGPU間でデータを交換します。各カードに小さいモデルを置けば、リクエストを別々に割り当てられます。前者は容量、後者は同時作業数が目的です。この単一回答の比較後、実サーバーで必要な同時数も試してください。
PCIeスロットとカード間の空間を先に確認する
5090を2枚入れるには、基板の実際のレーン配線、厚さと冷却空間の確認が重要です。2枚を支える電源とケーブルも必要です。2枚目の価格に部品交換費用を加え、全体の構築費用で比較しましょう。購入前に今の本体が対応できるか確認してください。
大きなファイルへ変えた後の待ち時間を確認する
2枚目の目的が大きなモデルなら、従来モデルの速度比較だけでは足りません。実際に使うモデルと文脈長で初回応答と完了を確認しましょう。必要な答えを得られることと、その待ち時間で作業を続けられることを合わせて判断します。