네모트론 3.5 Super VL, DGX Spark·RTX PRO 6000에서 쓰려면?

Super VL은 텍스트, 이미지, 영상에서 추출한 프레임을 입력으로 받는 vision-language 모델이에요. 문서 표나 화면을 이미지로 보내고 그 내용을 텍스트 답변으로 받을 수 있어요. 영상은 MP4 입력을 지원하며 모델 카드 기준 최대 2분입니다. 이미지와 영상 요청은 텍스트-only 요청보다 시각 토큰과 프레임이 context를 사용하므로 작은 입력부터 점검하세요.

구조는 Mamba-2, MoE와 attention⁶ 층을 결합하고 C-RADIO encoder와 vision-language connector를 더했어요. NVFP4 가중치 index는 75.01GB이며 vLLM recipe는 이를 바탕으로 최소 91GB를 계산하고 20% 여유를 포함해요. 이 값은 가중치 적재 조건을 위한 기준이고, 실제 context·batch·미디어 프레임 설정은 추가 메모리를 사용합니다. vLLM 하드웨어별 recipe

DGX Spark(GB10)에서 NVIDIA vLLM quick-start를 실행하려면 공식 vllm/vllm-openai:v0.32.0 또는 안내된 nightly 컨테이너를 먼저 실행해요. 아래 vllm serve 명령은 컨테이너 안의 터미널에서 입력해요. NVFP4 target과 별도 LiLiCorr drafter를 지정해 실행해요.

설정값은 GPU⁷ 사용률 0.75, batched tokens 8,192, 동시 sequence 1개, draft 7토큰이에요. NVIDIA Super VL 모델 카드 · 공식 vLLM 컨테이너 이미지

컨테이너의 첫 번째 셸에서 서버를 실행하고 모델 로딩과 커널 컴파일이 끝날 때까지 기다려요. 서버를 실행해 둔 채 같은 컨테이너에 새 셸을 열어 아래 확인 명령을 실행하세요. 모델 목록에 nemotron-3.5-super-vl이 표시되면 API⁸가 준비된 거예요. 컨테이너와 세부 옵션은 모델 카드의 quick-start를 따라 준비해요.

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
export DRAFT_MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr
vllm serve "$MODEL" \
  --host 127.0.0.1 \
  --served-model-name nemotron-3.5-super-vl \
  --max-num-seqs 1 \
  --trust-remote-code \
  --gpu-memory-utilization 0.75 \
  --max-num-batched-tokens 8192 \
  --speculative_config.model "$DRAFT_MODEL" \
  --speculative_config.num_speculative_tokens 7 \
  --speculative_config.method dflash \
  --mamba-backend flashinfer \
  --mamba-ssm-cache-dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --enable-mamba-shared-prefix-checkpoint \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --block-size 64 \
  --prefix-match-unit 64 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

curl --fail http://127.0.0.1:8000/v1/models

vLLM cookbook에는 단일 RTX PRO 6000 Blackwell용 NVFP4 profile이 있어요. 설정은 tensor parallel⁹ 1, pipeline parallel¹⁰ 1, data parallel 1, max model length 16,384, 동시 sequence 최대 128이에요.

이 profile은 target 내부의 MTP draft 5를 사용해요. 별도 LiLiCorr drafter를 지정하는 DGX Spark 경로와는 다른 방식이에요. 단일 RTX PRO 6000 profile과 명령

recipe 페이지의 RTX PRO 6000 profile은 텍스트 workload 구성으로 표시돼요. 이미지·영상 입력을 쓰려면 모델 카드에서 해당 GPU와 미디어 모드를 명시한 recipe인지 확인하고, 지원 프로파일이 없다면 해당 명령의 텍스트 설정만으로 멀티모달 처리를 전제하지 마세요. 각 profile은 설정된 동시 요청 수와 context에서 시작해 실제 입력으로 확인하세요.

vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
  --host 127.0.0.1 \
  --served-model-name nemotron-3.5-super \
  --trust-remote-code \
  --tensor-parallel-size 1 \
  --pipeline-parallel-size 1 \
  --data-parallel-size 1 \
  --max-model-len 16384 \
  --max-num-seqs 128 \
  --speculative_config.method mtp \
  --speculative_config.num_speculative_tokens 5 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

이 가이드의 DGX Spark LiLiCorr와 RTX PRO 6000 native MTP는 서로 다른 하드웨어용 공개 recipe예요. 두 설정을 비교하면 장비와 context 배정 차이도 함께 반영됩니다. LiLiCorr와 MTP의 효과만 보려면 같은 하드웨어와 runtime¹¹에서 target, 입력, sampling, context, 동시 요청 수를 고정하고 speculative 설정만 바꿔 측정하세요.

모델 카드의 1M은 모델 context 최대치예요. 공개 quick-start와 하드웨어 profile은 그보다 작은 값을 사용합니다. 이미지 요청에서는 작은 PNG 한 장으로 답변을 확인한 뒤 문서 페이지를 추가하고, 영상은 카드의 2 FPS¹²·최대 256프레임 값을 기준으로 길이와 해상도를 조정하세요. Super VL API와 미디어 입력 예시

표의 context와 speculative 설정은 vLLM cookbook에 기재된 각 하드웨어 profile 값이에요.