2026.10 更新

2× NVIDIA GeForce RTX 5090 PCIe 64GB 2台のデバイスにモデルを分割して実行する構成 · メモリ総計64GB

2×32GB GDDR7 VRAM(合計64GB、合計ローカル帯域幅3,584GB/s)。RTX 5090はNVLinkをサポートせず、PCIe Gen5インターフェースのみで通信を行うため、All-Reduce通信のボトルネックによる並列効率の低下が発生する。

同じモデルで速度とメモリを確認

2× RTX 5090 64GB (PCIe) · Qwen3.8 27B · ローカルLLM速度・メモリ: 入力処理 · プリフィル 1,332–2,878 tok/s · トークン生成 · デコード 87.6–135.3 tok/s; 必要 17.56GB / 使用可能 61GB VRAM
入力4,096トークン · 単一リクエスト · キャッシュなし

ハードウェア Kernel specifications

使用可能メモリー
61GB
メモリ帯域
3584GB/s
LLM連続負荷の推定
約 1100W
韓国の参考価格(ウォン)
1,798万ウォン〜1,858万ウォン

向いている人

  • 61GBの可用メモリを活用する
  • 分散推論ツール
  • GLM-5.3-Flash (MoE)クラスモデル比較

この場合は見送りましょう

2台のデバイスを接続しても、メモリが自動で1台のように統合されません。分散ランタイムサポートおよびインターフェイスのボトルネックを確認する必要があります。

デバイス別推奨フォーマット · 4K入力

このデバイスで体感できるモデル

K2 Horizon 0.9B

必要 1.03GB · 余裕

llama.cpp CUDA · Q4_K_M · GPU2台分離

トークン生成

2637.3 ~ 4070.9 tok/s

最初のトークン

0.09 ~ 0.19秒

GLM-5.3-Flash (MoE)

おすすめ

必要 190.21GB · スムーズ

llama.cpp CUDA · Q4_K_M · GPU2台分離

トークン生成

5.1 ~ 5.2 tok/s

最初のトークン

3.5 ~ 7.3秒

速度チューニング

実際の速度はランタイムのバージョン、冷却状態、コンテキスト長、量子化ファイルによって変わります。

販売ページでは、チップよりもメモリをまず確認してください。

同じ製品名でも64GB構成でなければ、上記のモデルと速度の条件は変わります。

よくある質問

2× RTX 5090 64GB (PCIe)で利用可能なローカルLLMはどのようなものがありますか?
K2 Horizon 0.9B, GLM-5.3-Flash (MoE)などを4K入力と推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。
2× RTX 5090 64GB (PCIe)のローカルLLMの電力はどのくらいですか?
連続負荷では約1100W、実際の範囲は900〜1350Wと見ています。
表示されたトークン速度は実測値ですか?
収集したベンチマーク実測を同じ条件にそろえた範囲です。同じ条件の実測がない組み合わせは近い実測値を基準に推定し、ランタイム・冷却・量子化ファイル・コンテキスト長で変わります。