DGX Spark 1台と2台でQwen3.8 Flash Nextはどう変わる？

1台レシピはTensorFoldのZigエンジンでQwen3.8 Flash Nextを提供します。既定値はINT4-AutoRoundチェックポイント、FP8⁴ KV cache⁵、画像入力、context 262,144、parallel 8です。2台レシピは各rankにSparkを1台ずつ割り当て、ConnectX-7で接続し、より大きなコンテキストウィンドウと2種類のチェックポイントを選べます。

Sparkの数値はMIAが公開したrecipe別のTensorFold Zig buildと設定によるものです。TensorFold 0.6.xをpatchして使うMIAの他recipeと同様に、この結果を標準TensorFold 1.0.8の適格表へ移して読まないでください。model、branch、patchが変われば同じGPU⁶でも条件が変わります。

2つは別々のレシピです。1台の結果を、同じチェックポイントとコンテキストを使った2台の試験として読まず、追加機器の効果と量子化⁷の違いを分けて考えます。

表のdecode⁸はprose生成の測定です。単一リクエストと同時リクエスト全体の合計を分けています。同時リクエストが増えると合計throughput⁹は上がることがありますが、各リクエストの速度は下がり、最初のトークンまでの時間は長くなります。

一人で使う場合は1件の列を比較します。共有サーバーでは合計処理量と測定時の要求数も確認します。2台のNVFP4とINT4-AutoRoundは異なるチェックポイントなので、その条件を保って構成を選びます。

1台構成では、NVIDIA GPUドライバーを備えたDGX Spark、DockerとNVIDIA Container Toolkit、約160GBの空きディスクが必要です。READMEのstart.shがコンテナとチェックポイントを取得し、既定設定でサーバーを準備します。

git clone https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark-TensorFold.git
cd Qwen3.8-Flash-Next-Single-DGX-Spark-TensorFold
./start.sh

リポジトリの現行Quick start手順に従います。セットアップが完了するとサーバーはport 8888でLIVEと表示します。API¹⁰ baseはhead機のアドレスに/v1を付け、モデルIDはQwen3.8-Flash-Nextです。curlに応答が返ったら、クライアントにも同じアドレスとモデル名を入力します。

curl -s http://127.0.0.1:8888/v1/models
curl -s http://127.0.0.1:8888/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Qwen3.8-Flash-Next","messages":[{"role":"user","content":"Write a Python fibonacci function."}],"max_tokens":1000}'

2台recipeでは最初に下のcommandでscripts/local.shを作ります。次の設定blockはterminalで実行せず、file editorでそのfileのWORKER・FABRIC_PEERを変更して保存してください。WORKERは管理LANのSSH接続先、FABRIC_PEERは必要な場合のworker CX7 addressです。予約address192.0.2.xを実際の値へ変更します。両方にDockerとNVIDIA Container Toolkitを準備し、headから鍵認証SSHを確認します。既定copy方式は両方にcheckpointを保存するため、各deviceに空き容量が必要です.

git clone https://github.com/MiaAI-Lab/Qwen3.8-Flash-Dual-DGX-Sparks-TensorFold.git
cd Qwen3.8-Flash-Dual-DGX-Sparks-TensorFold
cp scripts/local.sh.example scripts/local.sh

# Replace both reserved documentation addresses with your actual values.
WORKER=user@192.0.2.2       # worker SSH target on the management LAN
FABRIC_PEER=192.0.2.12      # worker CX7 address when needed

grep -nE 'WORKER=|FABRIC_PEER=' scripts/local.sh

ssh-copy-id user@192.0.2.2
ssh -o BatchMode=yes user@192.0.2.2 true

./start.sh

curl -fsS http://127.0.0.1:8888/v1/models
curl -fsS http://127.0.0.1:8888/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Qwen3.8-Flash-Next","messages":[{"role":"user","content":"Write a Python fibonacci function."}],"max_tokens":1000}'

2台レシピは最大1Mコンテキスト、既定parallel 16ですが、すべてのリクエストで両方の上限を同時に使えるという意味ではありません。各Sparkに約102GiBの空きメモリが必要で、同時リクエストはKV poolを共有します。1Mコンテキストと16件同時の両方が必要か、短いコンテキストで1〜2件を処理することが多いかで構成を選びます。

prefill¹¹は最初のトークンを出す前にprompt¹²を読み込む段階です。1台では32K promptで2,630 tok/s、2台では近い長さでNVFP4が約2,575、INT4-ARが約3,285 tok/sでした。最初のトークンまでの時間はprompt長にも左右されるため、decode速度とは分けて確認します。