新規モデル · 2026.09.12
最終更新
DeepSeek V4.1 Flashをローカル実行：552Bより先に見る数字
有効パラメータより全checkpointと実行構成を先に確認します
DeepSeek V4.1 Flashは文書や質問から回答を生成する大規模MoE1モデルです。公式チェックポイント2は約475.2GiBで、本体、Engramテーブル、推測デコード3構成などを格納します。個人機器のストリーミング実験から複数Sparkまで公開例を紹介します。
契約書一式をMacで読みたいなら、SSD4にファイルを置けるかだけでなく、runtime5が全構成要素をメモリに配置できるか先に確認します。公開スコアより、保存容量・システム/GPU6の配置・正確なruntime branchが優先です。
backbone・Engram・有効パラメータは異なる規模です
DeepSeek V4.1 Flashは40層552Bのbackboneに196B Engramが加わります。入力8B・生成16Bはtoken7計算時に有効化される経路を示します。選択されない専門家重みも保存・メモリに残るため、有効16Bを16GB VRAM8に置き換えて考えることはできません。
公式の混合精度checkpointはFP89・FP4・BF1610 componentを組み合わせ、約475.2GiBです。vision encoder・projectorとspeculative decoding11構成も含まれます。SSD上の保存領域と、実行時にbackbone・buffer・KV cache12を置くメモリを分けて準備してください。
Engramはtoken n-gram13をhash化し、FP8 tableから該当rowを検索してresidual streamに結合する学習済みメモリです。1回の計算で一部rowだけ読む場合もtable全体は約189GiBを占めます。これは一時prompt14 cacheや一般的なPLE15とは異なり、短い入力でも常駐tableがcontext長に応じて小さくなるわけではありません。
1017アップデートが出ました
2026年10月17日、同じ位置の1017チェックポイントが公開されました。構造とファイルサイズはそのままですが、48個のシャードがすべて書き換わり、Engramとビジョンのファイルも新しい値です。この記事の475.25GiBとランタイム条件は1017にも当てはまりますが、取得済みのファイルを上書きせず新しいフォルダーへ取り直してください。
何が変わり、どのランタイムが1017を読めるかは1017アップデートガイドで続けて説明します。
オフロード先のメモリと残す領域を計算する
初期SGLang実装はEngram tableをhost memoryに移せます。GPU占有は減りますが、大容量のシステムRAM16とCPU-GPU間転送が必要です。backbone重みとcontextに応じて増えるKV cacheは残ります。offload17経路があるだけで256GBユニファイドメモリ18に十分な余裕があるとせず、各componentの配置を確認してください。
約246.3GiBのthird-party Q2_Kファイルも公開されていますが、確認されたのは限定的なforkで短いテキスト要求が通ったsmoke testです。ファイルが小さいことは長文を安定処理できる証拠ではありません。
公開実行測定は機器と範囲を併せて読みます
個人機器の報告は短い試験から複数Sparkサーバーまで構成と入力が異なります。M3 Ultra 256GBのユーザーMLX19 2-bit経路は16 token入力後の23 decode stepで8.8 tok/s、context上限128 tokenでした。RTX 5090・RAM 128GB・PCIe 5 NVMe20の構成は元の混合FP4/FP8重みをstreamし、新規入力で5.1 tok/sを報告しています。どちらもprefill21を測定していないため、長い契約書一式を最初に読む時間は不明です。
Spark結果も同一試験ではありません。単一SparkでQ2_KをCPU22 mmapから読むCUDA-cmoe試験はprefill 1.9 tok/s、decode 2.8 tok/sでした。元の混合FP4/FP8重みと分散runtimeを使う3台Spark構成はdecode 37.9 tok/s、4台構成はdecode 43.12 tok/sと別途cold prefill基準値を公開しました。prefillを含まない測定からfirst token時間を推定しないでください。
| 構成 | 入力・実行条件 | 公開結果 |
|---|---|---|
| M3 Ultra 256GB、ユーザーMLX 2-bit | 16 token入力、23 decode step、context上限128 token | 8.8 tok/s、prefill未測定 |
| RTX 5090, RAM 128GB, PCIe 5 NVMe | 元の混合FP4/FP8をstream、新規入力 | 5.1 tok/s、prefill未測定 |
| Spark 1台、CUDA-cmoe、Q2_K CPU mmap | 単体機器試験 | prefill 1.9, decode 2.8 tok/s |
| Spark 3台、元の混合FP4/FP8を分散 | 分散runtime | decode 37.9 tok/s |
| Spark 4台 | 別途cold prefill基準 | decode 43.12 tok/s |
開発runtimeとspeculative decodingには制約があります
公開直後の主な経路はSGLang・vLLM専用の開発imageやbranchで、H200・B300・GB300などの複数GPUサーバーを対象としています。モデルページの導入コマンドは開始案内であり、すべての安定版と機器でtool call23・画像・長文contextが動く保証ではありません。正確な開発commitと配布手順を記録し、各機能を個別に試してください。
DSparkはcheckpointのmulti-token prediction24 componentが候補tokenを提案し、主モデルが検証するspeculative decodingです。初期SGLang結果はB300 GPU 4基、特定の開発branch、繰り返し使う固定の天気メモ入力で機能したことを示します。他のpromptやコンシューマーGPU 1基の速度測定ではありません。
機能の組み合わせ制約も確認が必要です。SGLangのencoder SWA bounded replayはspeculative decodingと併用できず、prefill・decode分離とDSpark統合は開発中です。vLLMではDSpark有効時のCPU KV offloadエラーが報告されています。必要なoffload・context・画像入力が1つの構成で同時に動くことを確認してから機器を選んでください。
用語の注釈
MoE — 複数の専門家サブネットワークから入力に応じて一部を選ぶモデル構造です。総パラメータ数と1トークン処理時に有効な数は異なることがあります。
本文に戻るチェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻るトークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。
本文に戻るSSD — フラッシュメモリを使うデータ保存装置です。電源を切ってもデータが保持されます。
本文に戻るランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻るトークン — モデルが入力や出力を分けて処理する単位です。
本文に戻るVRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻るFP8 — 一つの値を8ビットで表す浮動小数点形式です。
本文に戻るBF16 — モデルの数値に使う16ビット浮動小数点形式です。指数部はFP32と同じ幅で、同程度に広い値の範囲を表せます。
本文に戻る投機的デコーディング — ドラフトモデル、MTPヘッド、反復文脈の検索が出力候補を先に作り、メインモデルが検証して確定する生成手法です。
本文に戻るKVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻るn-gram — 連続するn個のトークンまたは項目からなる列です。文脈検索や投機的生成に使われるほか、一部モデルでは埋め込みテーブルの項目にもなります。
本文に戻るプロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻るPLE埋め込みテーブル — Per-Layer Embeddingの略で、モデルの特定の層に埋め込み情報を加える構造です。Qwen Flash-Next系はn-gramテーブルを使い、対応する実行環境ではRAMやSSDへオフロードできます。
本文に戻るシステムRAM — プログラムの実行中にデータを一時保存するシステムメモリです。
本文に戻るオフロード — 容量が足りないとき、モデルデータの一部をGPUメモリからシステムRAMやストレージへ移して処理する方法です。データ転送が追加されます。
本文に戻るユニファイドメモリ — CPUとGPUが同じ物理メモリ領域を共有する構造です。
本文に戻るMLX — Appleが開発する機械学習フレームワークで、Apple SiliconのCPUとGPUが共有するメモリを使ってモデルを実行します。
本文に戻るNVMe — SSDがPCI Express経由で通信する際に使うストレージ用プロトコルです。
本文に戻るプリフィル — LLMが入力プロンプトを読み、各トークンの内部表現を計算する段階です。プロンプトが長いほど処理するトークンが増えます。
本文に戻るCPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。
本文に戻るツール呼び出し — ファイル読み取り、検索、コマンド実行などの外部機能を、名前と引数でモデルが要求する形式です。実行の有無はエージェントランタイムと権限設定が決めます。
本文に戻るMTP — 複数の将来トークンを一度に予測する学習目標、またはそれを行うモデル構成です。投機的デコーディングでは、その予測を候補トークンとして提案できます。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- DeepSeek V4.1 Flashは文書や質問から回答を生成する大規模MoEモデルです。公式チェックポイントは約475.2GiBで、本体、Engramテーブル、推測デコード構成などを格納します。個人機器のストリーミング実験から複数Sparkまで公開例を紹介します。
- 必要なメモリはどのくらいですか？
- DeepSeek V4.1 Flashは40層552Bのbackboneに196B Engramが加わります。入力8B・生成16Bはtoken計算時に有効化される経路を示します。選択されない専門家重みも保存・メモリに残るため、有効16Bを16GB VRAMに置き換えて考えることはできません。
変更履歴
サイトの説明を変更した記録です。インストール済みのエンジンやモデルのバージョンを自動で確認した結果ではありません。
新モデルの単一Spark実行経路を追加
DeepSeekとLingの公開単一Spark測定を速度体験に反映しました。未確認の機材に同じ速度や実行コマンドは適用しません。