SpecPrefillで最初のトークンまでの待ち時間を短くする

空の入力を処理する修正には、関数本体、失敗した呼び出し元、既存テストが必要です。SpecPrefillは本モデルの前にトークン選別を置きます。それらが残っていれば関数と呼び出し元の関係を検討できます。

効果は、本モデルの処理短縮から選別時間を差し引いた分です。短い質問では減らせる入力が少ない場合があります。本モデルと下書きの準備時間も分け、依頼時の準備状態を合わせます。

プロンプト⁴キャッシュは計算済みの共通入力を再利用します。SpecPrefillは今回の入力を選び、MTP⁵は回答生成中に次の候補を作ります。回答開始までが遅いか、生成中が遅いかで調整する区間が変わります。

同じコードと依頼文を使い、キャッシュ状態も記録します。基準側だけにキャッシュが残ると、その効果が混ざります。消せない場合はコールド状態と仮定せず、観察した状態を記録します。TTFT⁶とデコード⁷速度を分けて変化を確認します。

oMLXのSpecPrefill用下書きは本モデルと同じトークナイザーを使う必要があります。対応する組み合わせで短い依頼を確認し、長い入力を試します。似たモデル名でも実装が異なるため、設定説明と依頼ログを確認します。

native MTPと統合Gemma assistantのLightning経路は、SpecPrefillとは別に設定できます。外部assistantを使うVLM MTP経路とは同時実行できません。SpecPrefill単独を試してから、対応するMTPを追加して生成も比較します。

サイトのMac体験値はおおまかな推定です。未確認のNVIDIA本モデル・下書き構成には倍率を適用しません。実行ツールの対応と同じ依頼の結果で選びます。

表は説明用の仮定です。基本実行はプリフィル30秒、生成20秒、確認10秒で計60秒です。選別でプリフィルを減らしても、欠落コードの確認が増えると作業全体は同じ場合があります。読み込み時間は表に含めません。

同じ修正依頼で通常文字列と空文字列の返り値、呼び出し元の期待値を比べます。対象が入力の先頭・中央・末尾にある場合も試すと欠落を探せます。選別トークンを表示できる実行ツールでは、残った範囲も直接確認します。

ファイル探索なら人が候補を開き直せます。すぐ適用する修正は呼び出し元やインターフェースの欠落による影響が大きくなります。同じ選別設定を一律に使わず、代表的な依頼をテストと確認まで完了します。

回答開始が早まり結果も維持できる用途で使います。欠落があれば選別を調整するか基本実行に戻して再比較します。検証した本モデル・下書き構成から広げると、待ち時間の短縮と結果確認を両立できます。