Nemotron 3.5 Super VLをDGX Spark・RTX PRO 6000で使うには？

Super VLはテキスト・画像・動画から抽出したフレームを入力できるvision-languageモデルです。文書の表や画面を画像として送り、テキスト回答を受け取れます。モデルカードではMP4動画は最大2分です。画像・動画要求では視覚トークンやフレームもcontextを使うため、小さな入力から確認してください。

Mamba-2、MoE、attention⁶層にC-RADIO encoderとvision-language connectorを組み合わせています。NVFP4のweight indexは75.01GBで、vLLMレシピは20%の余裕を含めて最低91GBと算出しています。これは重み読み込みの基準であり、context、batch size⁷、メディアフレーム設定には追加メモリが必要です。ハードウェア別vLLMレシピ

DGX Spark（GB10）で NVIDIA の vLLM クイックスタートを使う場合は、公式の vllm/vllm-openai:v0.32.0 または案内されている nightly コンテナを先に起動します。以下の vllm serve コマンドはコンテナ内のターミナルで入力します。NVFP4 target と別個の LiLiCorr drafter を指定して実行します。

設定値は GPU⁸ 使用率 0.75、batched tokens 8,192、同時 sequence 1 件、draft 7 トークンです。NVIDIA Super VL モデルカード · 公式 vLLM コンテナイメージ

コンテナの最初のシェルでサーバーを起動し、モデル読み込みとカーネルのコンパイルを待ちます。サーバーを動かしたまま同じコンテナに別のシェルを開き、次の確認コマンドを実行してください。モデル一覧にnemotron-3.5-super-vlが表示されればAPI⁹の準備ができています。コンテナと詳細オプションはモデルカードのquick-startに従って用意します。

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
export DRAFT_MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr
vllm serve "$MODEL" \
  --host 127.0.0.1 \
  --served-model-name nemotron-3.5-super-vl \
  --max-num-seqs 1 \
  --trust-remote-code \
  --gpu-memory-utilization 0.75 \
  --max-num-batched-tokens 8192 \
  --speculative_config.model "$DRAFT_MODEL" \
  --speculative_config.num_speculative_tokens 7 \
  --speculative_config.method dflash \
  --mamba-backend flashinfer \
  --mamba-ssm-cache-dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --enable-mamba-shared-prefix-checkpoint \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --block-size 64 \
  --prefix-match-unit 64 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

curl --fail http://127.0.0.1:8000/v1/models

vLLM cookbook には RTX PRO 6000 Blackwell 1 基用の NVFP4 profile があります。設定は tensor parallel¹⁰ 1、pipeline parallel¹¹ 1、data parallel 1、max model length 16,384、同時 sequence 最大 128 です。

この profile は target 内の MTP draft 5 を使います。別個の LiLiCorr drafter を指定する DGX Spark の経路とは異なります。RTX PRO 6000 単体用 profile とコマンド

recipeページのRTX PRO 6000 profileはテキストworkloadとして示されています。画像・動画を使う場合は、対象GPUとmedia modeが明記されたレシピを確認してください。テキスト設定だけのコマンドでマルチモーダル対応を想定しないでください。profileのsequence数とcontext設定から始め、実際の入力で確認します。

vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
  --host 127.0.0.1 \
  --served-model-name nemotron-3.5-super \
  --trust-remote-code \
  --tensor-parallel-size 1 \
  --pipeline-parallel-size 1 \
  --data-parallel-size 1 \
  --max-model-len 16384 \
  --max-num-seqs 128 \
  --speculative_config.method mtp \
  --speculative_config.num_speculative_tokens 5 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

このガイドのDGX Spark LiLiCorrとRTX PRO 6000 native MTPは、異なる機器向けの公開recipeです。両者の比較には機器とcontext割り当ての差も含まれます。LiLiCorrとMTPの効果だけを見るには、同じhardwareとruntime¹²でtarget、入力、sampling、context、同時リクエスト数を固定して測定してください。

1Mはモデルのcontext最大値です。公開quick startやhardware profileでは、より小さい割り当てを使います。画像要求は小さなPNG一枚で確認してから文書ページを増やします。動画はカードの2 FPS¹³・最大256フレームを基準に、クリップ長と解像度を調整してください。Super VL APIとmedia入力例

表のcontextとspeculative設定は、vLLM cookbookに記載された各hardware profileの値です。