LiLiCorrとは？BoltとSuper VLのspeculative decoding

並列ドラフトモデルは複数の位置で次トークンの候補を一度に提案します。LiLiCorr は候補間のつながりを採点し、target モデルが検証する経路を選びます。LiLiCorr の手法

速度向上の度合いは drafter と target の組み合わせ、入力文体、同時リクエスト数によって変わります。Bolt は llama.cpp、Super VL は vLLM で動かすため、それぞれの設定を使います。

Bolt 74B-A9B では target GGUF と LiLiCorr drafter GGUF の両方を用意します。--spec-type draft-dflash と --spec-draft-model オプションで llama.cpp server に接続します。

NVIDIA は RTX Spark 128GB または VRAM⁶ 48GB 以上の GeForce RTX 向けに 32GB recipe を提示しています。この設定は context 262,144、同時 sequence 1 件、draft 最大 7 トークンです。

RTX Spark 64GB または VRAM 32GB 以上には、context 65,536、sequence 1 件、draft 最大 6 トークン、Q8_0 KV cache⁷ を使う 28GB recipe が案内されています。Bolt GGUF モデルカードと recipes

target GGUFとLiLiCorr drafter GGUFをダウンロードします。最初のコードのパスを実際のファイル位置に置き換え、同じshellで実行してください。両方の環境変数を設定したら、次のコマンドでファイルを組み合わせます。context・cache・draft tokenの設定はGPU⁸に合うモデルカードのrecipeを適用してください。

export BOLT_GGUF="/absolute/path/to/target.gguf"
export LILICORR_GGUF="/absolute/path/to/lilicorr-drafter.gguf"

llama-server -m "$BOLT_GGUF" \
  --spec-type draft-dflash \
  --spec-draft-model "$LILICORR_GGUF" \
  --host 127.0.0.1

DGX Spark（GB10）では NVIDIA の Super VL LiLiCorr profile を使用します。vLLM コンテナ内で NVFP4 target と別個の ...NVFP4-LiLiCorr drafter を実行します。

NVIDIA の設定は、同時 sequence 1 件、draft 7 トークン、GPU メモリ使用率 0.75、batched tokens 8,192 です。vLLM recipe では、この DGX Spark LiLiCorr 経路と RTX PRO 6000 の native MTP⁹ 経路が別々に記載されています。Super VL LiLiCorr モデルカード

同じターゲットにはnative MTP経路もあります。MTPはターゲット内部の予測headを使い、LiLiCorrには別のドラフターcheckpoint¹⁰が必要です。speculative methodとモデル引数を混同しないでください。短いテキスト要求でAPI¹¹モデル名を確認してから画像入力や通常の同時リクエスト数を加え、メモリ使用量と完了時間を記録します。

NVIDIA の研究では、同じデータで学習した vanilla DFlash と比べて、LiLiCorr の acceptance length が 9～19%、greedy decoding¹² throughput¹³ が 4～13% 高かったと報告されています。Qwen3 4B・8B などを H100 で比較した結果です。

Super VL LiLiCorr カードの SPEED-Bench では、draft length 7、プロンプト¹⁴ 880 件、同時リクエスト 64 件、3 seed の平均で、acceptance length は temperature 0 で 4.74、temperature 1 で 4.36 でした。

ここでの 64 はベンチマークの負荷です。DGX Spark の serving recipe は --max-num-seqs 1 を設定します。Acceptance length は平均受理トークン数を意味します。

研究結果 · モデルカードの測定表

Boltには別のノートPC実測があります。RTX Spark搭載の128GB Surface Laptop UltraでWindows 11 ARMとllama.cppを使い、Bolt IQ2_XXS + LiLiCorrはAIPerf SPEED-Bench-Codingで83.99 TPS、AA-AgentPerf Local replayで600.80秒でした。この値はそのBolt構成とworkloadの結果です。Bolt測定条件