2×3090のNVLink：推論で実際にどれだけ変わるか

RTX 3090はGA102ベースのNVLink 3.0に対応し、1組のカードが112.5Gbit/sのリンクを4本束ねて合計112.5GB/sの双方向（方向あたり56.25GB/s）で通信できます。PCIe 4.0 x16が方向あたり約32GB/sであるのと比べると、カード間の専用経路ははるかに広いです。

3090にNVLinkコネクターがあることと、ブリッジが装着されていることは別の話です。まとめ資料には「ブリッジを物理的に取り付ける必要があり、多くの消費者構成にはない」と書かれています。ブリッジがなければマルチカード構成はPCIeで動作します。

2×3090でvLLMのテンソル並列（TP=2）を使い、同じモデルを回したコミュニティ測定があります。Devstral Small 2505 Q8_0、コード生成プロンプト³50件、応答平均約1650トークン⁴の条件で、NVLinkありが85.0 tok/s、PCIeのみが81.1 tok/sでした。差は約5%です。

より目立つのはテール遅延です。95パーセンタイルの応答時間はNVLinkありが239.1秒、なしが277.6秒で、NVLinkの方が安定していました。平均処理量より長いリクエストのばらつきが重要な用途なら、この差に意味があります。測定者は、推論だけが目的ならブリッジよりVRAM⁵やカードに使う方がよいと結論づけています。

2×3090の運用資料によると、既定のデュアル・マルチカード経路はPCIe専用でP2Pは無効です。NCCL_P2P_DISABLE=1でカスタムオールリデュースも無効になっており、調整なしでどの消費者構成でも安定して動く側を既定にしています。

同じ資料には、PCIeでもP2Pを有効にするとワークロード次第で数%から20%程度まで伸び得ると書かれています。強調されているのは順序です。まず既定のPCIe経路で正常動作を確認し、その後トポロジーを読み、P2Pを有効にして比較すると問題を切り分けやすくなります。

P2Pは一つの問いではなく三つが重なっています。第一にドライバーがGPU間の直接アクセスを許可したか、第二にNCCL⁶がその経路を実際の転送に使うか、第三にvLLMのカスタムオールリデュースカーネルが追加で有効かです。これらを混同すると「P2Pは有効なのに速くならない」理由を説明できなくなります。

vLLM側のゲートはNVLinkという名前で検査しますが、その検査は高コストな条件をふるい落とすための事前フィルターです。そのため3枚以上のPCIe構成では、完全接続のNVLinkメッシュではないという理由でカスタムオールリデュースは設計上無効になります。設定ミスではなく意図された動作で、その構成でもP2Pの利得はNCCL層に流れ得ます。

vLLMのテンソル並列は重みをカード数で分割して載せる方式です。カードごとに確保できるKVキャッシュ⁷の空間が増える代わりに、同期のオーバーヘッドが大きくなり得るとvLLMのドキュメントは説明しています。文脈長⁸と同時リクエスト数を合わせて調整して初めて実際の利得が出ます。

チャンクプリフィル⁹を有効にすると、演算ボトルネックのプリフィルと帯域ボトルネックのデコード¹⁰を分けて混ぜ、両方の資源を使えます。電力はカードごとにかかるため、2枚なら合計電力とケース内の発熱も見る必要があります。上のチャートのように、3090は電力上限を下げるとデコードも落ちます。

推論が目的なら、ブリッジは最後に検討する項目です。測定で得られたのは約5%の処理量とより良いテールで、それより大きな差は24GBを2枚に分けて載せられるモデルか、1枚でより大きなモデルを載せるかで生まれます。2枚使う場合はまず既定のPCIe経路で正常動作を確認してください。

学習やファインチューニングのようにカード間通信が動き続ける作業は話が別です。NVLinkの帯域の利点は推論より学習で大きく出るというのが一般的な評価で、上の測定も推論では差が5%にとどまったと結論づけています。用途が推論か学習かを先に決めてから判断してください。