Strataの複数GPUレイヤー分割：設定と実測

Strataの複数GPUレイヤー分割は、1つのモデルの連続したレイヤー範囲を各カードに割り当てます。最初のGPUが前半を処理して渡し、次のGPUが後半を処理します。各カードは担当レイヤーの専門家キャッシュを持ち、最後のGPUは出力ヘッドとdraft/MTPレイヤーも処理します。

これは layer/pipeline parallelism です。GPU ごとに別のレイヤーを担当し、tensor parallelism³ のように一つのレイヤーの行列を複数の GPU に分割しません。

verify window ごとにトークン⁴データをホストメモリ経由でカード間に一度渡します。NVLink や GPU 間の peer-to-peer 接続は不要で、PCIe x4 や x1 でも実行できます。

2枚でレイヤーを分けると、各カードが担当段階の専門家をキャッシュします。1枚では頻繁に使う専門家を十分に保持できない場合、2枚目のキャッシュによってデコード時のCPU⁵処理を減らせます。各カードにはdense weight、全文脈のKV状態、verify window、入力バッファも必要なため、VRAM⁶の合計だけでは適合性を判断できません。

カードを増やすと PCIe の転送負荷も増えるため、遅い GPU を追加しても常に速くなるわけではありません。Strata は 2 枚構成で分割位置を試し、専門家プロファイルを最も多く載せられる配置を選びます。

異なるアーキテクチャのカードを使う場合は、ランタイム⁷の対応状況とビルド条件を確認してください。NVIDIA と AMD を一回の実行で混在させる構成には対応していません。

2 枚目の VRAM が 8GB 未満の場合、セットアップツールが警告を表示します。各カードに dense weight とプロンプト⁸バッファが必要なため、VRAM が少ないと全体の配置が制限されます。

カードを追加する前に、現在の 1 枚構成でキャッシュヒット率と CPU 使用率を確認してください。2 枚目でどのボトルネックを減らすのか決めてから試すと、結果を判断しやすくなります。

WindowsではStrataフォルダーからSTART-HERE.bat --gpus 0,2を実行して2枚を選び、設定を保存します。Linuxでは./setup.sh --gpus 0,2を使います。NVIDIAの番号はnvidia-smiの順です。--gpus allは利用可能な対応カードすべて、--gpu 0はその起動だけ1枚を指定します。

設定ファイルではgpu配列とlayer_splitを指定します。gpuを[0, 2]、layer_splitをautoにすると自動配置になります。手動のlayer_split 26は、2枚目がレイヤー26から担当する意味です。3枚なら18,32のように後続段階の開始レイヤー番号を昇順で指定します。担当レイヤー数ではありません。

Strataは自動分割で選ばれたカード順を起動ログに表示します。後続のmain/0.1.41系の文書とsetup.pyでは、autoが高速なカードを最後に並べると説明されています。この自動並べ替えとgpu_order設定はv0.1.40.2にはないため、その版ではセットアップ画面と起動ログに表示された順序を基準にします。

Ryzen 9 9950X3D、文脈32KでCoderを実行した測定です。RTX 5080単体とRTX 5080＋3090の自動・手動分割を分け、2種類の入力長での処理量と、物語文・コード回答のデコードを別々に記録しています。

別構成で低速なRTX 2080 Tiを3枚目に加えると、物語文・コードのデコードは68・90 tok/sに下がりました。カード数やVRAM合計ではなく、追加カードで解消する処理上のボトルネックを確認してください。

出典：Strata v0.1.40.2 MULTI_GPU.mdのCoder測定表です。入力処理量と回答デコードは別の処理なので、各列を分けて確認します。