DeepSeek V4.1 Flashをローカル実行：552Bより先に見る数字

552Bは40層バックボーンのパラメータ数です。さらに二つの大きなEngramテーブル196Bがあり、ビジョンエンコーダ、プロジェクタ、投機的デコード用の構成もチェックポイントに含まれます。552Bをモデル全体とみなしたり、552Bと196Bの単純な合計だけでファイル容量を予測したりすると、実際の配布物とはずれます。

入力処理の8B、生成の16Bは、各トークンの計算に参加するバックボーン経路を示します。選ばれないエキスパートの重みも保存先やメモリには必要です。8Bや16BをそのままVRAM要件に置き換えるのは誤りです。

Engramは学習済みの条件付きメモリです。トークンn-gramをハッシュし、二つのFP8テーブルから行を取得して残差ストリームに融合します。各ステップで読む行は少なくても、テーブル全体は約189GiBです。消去できる一時的なプロンプトキャッシュや、一般的なPLE機能と同一視できません。

SGLangの初期実装ではEngramテーブルをホストメモリへ移せます。GPU容量は空きますが、大きなシステムメモリとCPU・GPU間の接続条件が必要で、モデルの残りやKVキャッシュが消えるわけではありません。「オフロード対応」だけで小型GPU一枚で動くとは判断できません。

公式版はFP8、FP4、BF16などが混在するチェックポイントで、ダウンロードは約475.2GiBです。これは保存容量の下限に近く、ハードウェア要件の全体ではありません。変換時には元ファイルと変換後ファイルが同時に必要になり、実行時にはランタイム、作業領域、画像処理、文脈長に応じたKVキャッシュが加わります。

サードパーティのQ2_Kファイルには約246.3GiBの例がありますが、llama.cppの正式対応を意味しません。確認済みなのは制限付きフォークでの短いテキストのスモークテストで、16K超、ビジョン、MTP、品質比較は未完了です。最低推奨メモリや完成した個人向け配布版として扱うのは早計です。

公開直後に検証された中心経路は、SGLangやvLLMの専用開発イメージまたはブランチを使うH200、B300、GB300などのマルチGPU環境です。モデルページの短い導入コマンドは出発点であり、すべての安定版とハードウェアで全機能が動く保証ではありません。ツール、画像、長文脈を使うなら、正確なコミットと配備レシピも記録します。

llama.cppとMLXはいずれも専用フォークまたはカスタムランタイムで実行事例がありますが、通常の導入経路へ一般化すべきではありません。M3 Ultra 256GBのMLX 2-bitでは、16トークン入力・23回の計時対象デコードステップで8.8 tok/s、ランタイムのコンテキスト上限は128トークンでした。RTX 5090でも、RAM 128GBとPCIe 5 NVMeを併用したネイティブ混合FP4/FP8ストリーミングで、新規入力に対して5.1 tok/sが測定されています。どちらもプリフィルは未測定です。

Sparkの実行経路も一つではありません。単一Sparkでは、Q2_KをCPU mmapで読み込むCUDA-cMoE実験でプリフィル1.9 tok/s、デコード2.8 tok/sが報告されています。ネイティブ混合FP4/FP8と専用分散ランタイムを使う3台構成ではデコード37.9 tok/sのみ、4台構成ではデコード43.12 tok/sと別のコールドプリフィル基準点が公開されています。プリフィル測定のない経路にTTFTを作らず、ノード数や形式が異なる数値を転用しません。

DSparkはチェックポイントの多段予測構成を使い、複数トークンを提案・検証する投機的デコードです。初期のSGLang測定は、B300を4台、特定の開発ブランチ、固定された反復型の天気メモ入力という条件でした。機能が動く根拠にはなりますが、民生GPU一枚や別の質問でも同じ速度になる保証ではありません。

組み合わせの制約も残ります。SGLangのエンコーダ側SWA bounded replayは投機的デコードと併用できず、prefill・decode分離とDSparkの組み合わせも開発中です。vLLMではDSpark有効時のCPU KVオフロード障害も報告されています。購入時は最高速度を外挿せず、必要なオフロード、文脈長、画像入力を同時に通した公開測定を待つ方が安全です。