LiLiCorr란? Bolt와 Super VL의 speculative decoding 경로

병렬 초안 모델은 다음 토큰 후보를 여러 위치에서 한 번에 제안해요. LiLiCorr는 후보들 사이의 연결 점수를 계산해 target 모델이 검증할 경로를 골라요. LiLiCorr 방법 설명

속도 향상은 drafter와 target의 조합, 입력 문체, 동시 요청 수에 따라 달라져요. Bolt는 llama.cpp, Super VL은 vLLM으로 실행하므로 각각의 설정을 적용해요.

Bolt 74B-A9B에서는 target GGUF와 LiLiCorr drafter GGUF를 함께 준비해요. llama.cpp server를 --spec-type draft-dflash와 --spec-draft-model 옵션으로 연결해 두 파일을 사용해요.

NVIDIA는 RTX Spark 128GB 또는 VRAM⁶ 48GB 이상 GeForce RTX용 32GB recipe를 제시해요. 이 설정은 context 262,144, 동시 sequence 1개, draft 최대 7토큰을 사용해요.

RTX Spark 64GB 또는 VRAM 32GB 이상에는 context 65,536, 동시 sequence 1개, draft 최대 6토큰, Q8_0 KV cache⁷를 쓰는 28GB recipe를 안내해요. Bolt GGUF 모델 카드와 recipes

target GGUF와 LiLiCorr drafter GGUF를 내려받고, 아래 첫 코드의 경로를 실제 파일 위치로 바꿔 같은 셸에서 실행하세요. 두 환경 변수가 설정되면 다음 명령으로 파일을 연결할 수 있어요. context·cache·draft token 옵션은 선택한 GPU⁸에 맞는 모델 카드 recipe를 적용합니다.

export BOLT_GGUF="/absolute/path/to/target.gguf"
export LILICORR_GGUF="/absolute/path/to/lilicorr-drafter.gguf"

llama-server -m "$BOLT_GGUF" \
  --spec-type draft-dflash \
  --spec-draft-model "$LILICORR_GGUF" \
  --host 127.0.0.1

DGX Spark(GB10)에서는 NVIDIA의 Super VL LiLiCorr profile을 사용해요. vLLM 컨테이너 안에서 NVFP4 target과 별도의 ...NVFP4-LiLiCorr drafter를 실행해요.

NVIDIA 설정은 동시 sequence 1개, draft 7토큰, GPU 메모리 사용률 0.75, batched tokens 8,192예요. vLLM recipe에는 이 DGX Spark LiLiCorr 경로와 RTX PRO 6000 native MTP⁹ 경로가 따로 있어요. Super VL LiLiCorr 모델 카드

동일 target에는 native MTP 경로도 있어요. MTP는 target 내부 예측 head를 사용하고 LiLiCorr는 별도 drafter checkpoint¹⁰가 필요하므로, 명령의 speculative method와 모델 인자를 서로 바꿔 적용하지 마세요. 첫 요청은 짧은 텍스트로 API¹¹ 모델명을 확인하고, 이후 이미지 입력과 평소 동시 요청 수를 추가해 메모리와 응답 완료 시간을 기록해요.

NVIDIA 연구는 같은 데이터로 학습한 vanilla DFlash와 비교해 LiLiCorr의 acceptance length가 9–19%, greedy decoding¹² throughput¹³이 4–13% 높았다고 보고해요. Qwen3 4B·8B 등을 H100에서 시험한 결과예요.

Super VL LiLiCorr 카드의 SPEED-Bench는 draft length 7, 프롬프트¹⁴ 880개, 동시 요청 64개, seed 3회 평균 조건에서 acceptance length 4.74(temperature 0)와 4.36(temperature 1)을 기록해요.

여기서 64는 벤치마크 부하예요. DGX Spark serving recipe는 --max-num-seqs 1을 설정해요. Acceptance length는 평균 수락 토큰 수를 뜻해요.

연구 결과 · 모델 카드 측정표

Bolt 공개 측정에는 별도의 노트북·런타임 결과가 있어요. RTX Spark가 들어간 128GB Surface Laptop Ultra에서 Windows 11 ARM과 llama.cpp로 Bolt IQ2_XXS + LiLiCorr를 실행해 AIPerf SPEED-Bench-Coding 83.99 TPS와 AA-AgentPerf Local 재생 600.80초를 기록했습니다. 이는 해당 Bolt 구성과 workload의 실측이에요. Bolt 측정 조건