2026.09 更新
2× NVIDIA A40 NVLink 96GB 2台のデバイスにモデルを分割して実行する構成 · メモリ総計96GB
2×48GB ECC VRAM（合計96GB、合計ローカル帯域幅1,392GB/s）とNVLink（112.5GB/s）を組み合わせたエンタープライズ級ダブルワークステーション構成です。70B〜120Bクラスのモデルをテンソル並列化で駆動します。
同じモデルで速度とメモリを確認
ハードウェア Kernel specifications
- 使用可能メモリー
- 92GB
- メモリ帯域
- 1392GB/s
- LLM連続負荷の推定
- 約 700W
- 韓国の参考価格（ウォン）
- 1,260万ウォン〜1,260万ウォン
向いている人
- 92GBの利用可能なメモリを活用する
- 分散推論ツール
- GLM-5.3-Flash (MoE)クラスモデル比較
この場合は見送りましょう
2台のデバイスを接続しても、メモリが自動で1台のように統合されません。分散ランタイムサポートおよびインターフェイスのボトルネックを確認する必要があります。
デバイス別推奨フォーマット · 4K入力
このデバイスで体感できるモデル
K2 Horizon 0.9B
必要 1.03GB · 余裕
llama.cpp CUDA · Q4_K_M · GPU2台分離
トークン生成
1285.9 ~ 1765 tok/s
最初のトークン
0.19 ~ 0.44秒
GLM-5.3-Flash (MoE)
おすすめ必要 190.21GB · スムーズ
llama.cpp CUDA · Q4_K_M · GPU2台分離
トークン生成
3.4 ~ 3.4 tok/s
最初のトークン
6.3 ~ 14.0秒
実際の速度はランタイムのバージョン、冷却状態、コンテキスト長、量子化ファイルによって変わります。
販売ページでは、チップよりもメモリをまず確認してください。
同じ製品名でも96GB構成でなければ、上記のモデルと速度の条件は変わります。
よくある質問
- 2× A40 96GB (NVLink)で利用可能なローカルLLMはどのようなものがありますか？
- K2 Horizon 0.9B, GLM-5.3-Flash (MoE)などを4K入力と推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。
- 2×A40 96GB(NVLink)のローカルLLMパワーコストはどのくらいですか？
- 連続負荷では約700W、実際の範囲は550〜850Wと見ています。
- 表示されたトークン速度は実測値ですか？
- 収集したベンチマーク実測を同じ条件にそろえた範囲です。同じ条件の実測がない組み合わせは近い実測値を基準に推定し、ランタイム・冷却・量子化ファイル・コンテキスト長で変わります。