2026.10 更新

2× NVIDIA GeForce RTX 3090 NVLink 48GB 2台のデバイスにモデルを分割して実行する構成 · メモリ総計48GB

2×24GB VRAM(総計48GB、ローカル帯域幅1,872GB/s)を3世代NVLink(両方向112.5GB/s)で接続したダブルGPU構成です。テンソル/パイプライン並列化をサポートする場合、70Bクラスのモデルを完全にロードできます。

同じモデルで速度とメモリを確認

2× RTX 3090 48GB (NVLink) · Qwen3.8 27B · ローカルLLM速度・メモリ: 入力処理 · プリフィル 658–1,511 tok/s · トークン生成 · デコード 57.5–79.8 tok/s; 必要 17.56GB / 使用可能 45GB VRAM
入力4,096トークン · 単一リクエスト · キャッシュなし

ハードウェア Kernel specifications

使用可能メモリー
45GB
メモリ帯域
1872GB/s
LLM連続負荷の推定
約 780W
韓国の参考価格(ウォン)
478万ウォン〜478万ウォン

向いている人

  • 45GBの利用可能なメモリを活用する
  • 分散推論ツール
  • Qwen3.8-Flash-Nextクラスモデル比較

この場合は見送りましょう

2台のデバイスを接続しても、メモリが自動で1台のように統合されません。分散ランタイムサポートおよびインターフェイスのボトルネックを確認する必要があります。

デバイス別推奨フォーマット · 4K入力

このデバイスで体感できるモデル

K2 Horizon 0.9B

必要 1.03GB · 余裕

llama.cpp CUDA · Q4_K_M · GPU2台分離

トークン生成

1729.3 ~ 2401.8 tok/s

最初のトークン

0.17 ~ 0.38秒

Qwen3.8-Flash-Next

おすすめ

必要 97GB · スムーズ

Strata 0.1.40 · IQ3_S · MTP-4 · pipeline-windows 2 · SSD PLE

トークン生成

67.1 ~ 184.9 tok/s

最初のトークン

1.3 ~ 3.6 秒

速度チューニング

実際の速度はランタイムのバージョン、冷却状態、コンテキスト長、量子化ファイルによって変わります。

販売ページでは、チップよりもメモリをまず確認してください。

同じ製品名でも48GB構成でなければ、上記のモデルと速度の条件は変わります。

よくある質問

2× RTX 3090 48GB (NVLink)で利用可能なローカルLLMはどのようなものがありますか?
K2 Horizon 0.9B, Qwen3.8-Flash-Nextなどを4K入力と推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。
2× RTX 3090 48GB (NVLink)のローカルLLMの電力はどのくらいですか?
連続負荷では約780W、実際の範囲は650〜920Wと見ています。
表示されたトークン速度は実測値ですか?
収集したベンチマーク実測を同じ条件にそろえた範囲です。同じ条件の実測がない組み合わせは近い実測値を基準に推定し、ランタイム・冷却・量子化ファイル・コンテキスト長で変わります。