新規モデル · 2026.09.04
最終更新
Qwen3.8-Flash-Next：有効6Bでも180Bを載せる理由
Qwen3.8-Flash-Nextをローカルで使うには：MoE・PLE・MTPとメモリ
Qwen3.8-Flash-Nextはコードや文書を入力して回答を生成するMoE1モデルです。リクエストに合う専門家の経路を選び、トークン2ごとに約6Bのパラメーターで計算します。全体はコアLM 125B、PLE3 51B、MTP4 4Bの合計約180Bです。メモリとSSD5への配置によって、実行できる装置や応答速度が変わります。
チームでコードを確認するサーバーでは、全重みの保存先と必要なデータの読み方を決めます。全てをメモリに載せる構成と、PLEテーブルをSSDから読む構成を分けて見ていきます。
6Bはtokenごとの計算規模を示します
MoEモデルは入力に合わせて一部の専門家経路を選び、次のtokenを計算します。約6Bのactive parameterは、tokenごとの計算に参加する規模を示します。次のtokenでは別の専門家が必要になることがあるため、runtime6は選択可能な全重みにアクセスできなければなりません。
公開構成は約125Bのcore LM、約51BのPLEテーブル、約4BのMTPで成り立ちます。合わせて約180Bで、PLEとMTPはその全体に追加する別モデルではなく構成要素です。したがって6Bから読み込み容量を見積もると、用意すべき重みの大部分を見落とします。
PLE offloadとMTPは役割が異なります
全データをGPU7メモリに収められない場合、対応するruntime経路でPLEテーブルをRAM8やSSDに置き、必要な部分を読み込む方法を検討できます。高速メモリに常時置く量は減りますが、検索と転送が増えるため、実行可能性と応答待ち時間を分けて確認します。
MTPは保存場所ではなくtoken生成に関する機能です。次のtoken候補を提案し、メインモデルが検証する経路を使います。PLEのSSD offload9とMTP対応はruntimeでそれぞれ確認してください。
SSDからデータを初めて読むリクエストと、読み込んだデータがcacheに残っているリクエストでは待ち時間が異なることがあります。初回と反復を分け、runtimeログとcache状態も記録すると、チームの日常利用に近い条件で判断できます。
単一DGX Sparkは特定のファイルとpatchが必要な実験経路です
単一Sparkの実行例は128GBの装置に特定のNVFP410チェックポイント11と、PLEのSSDオフロード用mmapパッチを適用しています。再現する際はチェックポイント、パッチ、実行ツールを一緒に準備します。具体的なコマンドはサービングレシピを参照できます。
DGX Sparkの128GB unified memory12はCPU13とGPUが共有します。GPU側のデータをhost RAMへ移しても物理メモリは増えず、SSDから読んだページがcacheに残ると同じメモリを使います。重み、KV cache14、runtime、OSが同時に使う容量を見積もってください。
再現性を確認するときは、設定とログで意図したNVFP4ファイルが開かれたか、PLE参照がpatch経由でNVMe15 mmapを使っているかを調べます。ファイルを用意したりコマンドを実行したりしただけでは、その経路が適用されたとは分かりません。サーバー再起動後に同じリクエストを処理できるか、設定を復元できるかも確認してから運用適性を判断します。
2ノード構成は搭載余裕と応答速度に別々の影響を与えます
モデルを2ノードに分割すると、1台では載せにくい構成を配置できる余地が生まれます。ただし分散実行ではノード間通信が加わるため、1つの回答が台数に比例して速くなるわけではありません。同時リクエストの処理量と1件の完了時間を別々に測定します。
比較ではモデルファイル、量子化16、MTP設定、入力長、同時リクエスト数をできるだけそろえます。1件の完了時間と同じ時間内に完了した件数を記録すると、2ノード構成が容量問題を解決したのか、処理量を変えたのか見分けやすくなります。
実験経路と日常運用サーバーを実際の質問で比較します
NVFP4 checkpointとPLE mmap patchの試験が目的なら、単一Spark経路は実験対象になります。日々のチーム利用では、更新後もpatchが維持されるか、cache消去やプロセス再起動後に復旧するか、SSD利用時の初回待ち時間を許容できるかも確認してください。
256GB級の機器でも総容量だけに頼らず、選んだruntimeが全重みと同時リクエスト用cacheをどこに配置するか確認します。その後、チームでよく使う同じコード質問を現在のモデルと並べて実行し、修正案がテストに通るか、最初の応答と完了時刻を比べてください。必要なファイルへアクセスでき、待ち時間と管理負担がチームに合うなら運用候補になります。
用語の注釈
MoE — 複数の専門家サブネットワークから入力に応じて一部を選ぶモデル構造です。総パラメータ数と1トークン処理時に有効な数は異なることがあります。
本文に戻るトークン — モデルが入力や出力を分けて処理する単位です。
本文に戻るPLE埋め込みテーブル — Per-Layer Embeddingの略で、モデルの特定の層に埋め込み情報を加える構造です。Qwen Flash-Next系はn-gramテーブルを使い、対応する実行環境ではRAMやSSDへオフロードできます。
本文に戻るMTP — 複数の将来トークンを一度に予測する学習目標、またはそれを行うモデル構成です。投機的デコーディングでは、その予測を候補トークンとして提案できます。
本文に戻るSSD — フラッシュメモリを使うデータ保存装置です。電源を切ってもデータが保持されます。
本文に戻るランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻るシステムRAM — プログラムの実行中にデータを一時保存するシステムメモリです。
本文に戻るオフロード — 容量が足りないとき、モデルデータの一部をGPUメモリからシステムRAMやストレージへ移して処理する方法です。データ転送が追加されます。
本文に戻るNVFP4 — NVIDIAが定義した4ビット浮動小数点データ形式です。対応状況はGPU世代、モデル、ソフトウェア実装によって異なります。
本文に戻るチェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻るユニファイドメモリ — CPUとGPUが同じ物理メモリ領域を共有する構造です。
本文に戻るCPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。
本文に戻るKVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻るNVMe — SSDがPCI Express経由で通信する際に使うストレージ用プロトコルです。
本文に戻る量子化 — モデルの重みや計算値を少ないビット数で表し、保存容量やメモリ使用量を減らす方法です。表現が粗くなるため、精度にも影響することがあります。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- Qwen3.8-Flash-Nextはコードや文書を入力して回答を生成するMoEモデルです。リクエストに合う専門家の経路を選び、トークンごとに約6Bのパラメーターで計算します。全体はコアLM 125B、PLE 51B、MTP 4Bの合計約180Bです。メモリとSSDへの配置によって、実行できる装置や応答速度が変わります。
- 必要なメモリはどのくらいですか？
- 全データをGPUメモリに収められない場合、対応するruntime経路でPLEテーブルをRAMやSSDに置き、必要な部分を読み込む方法を検討できます。高速メモリに常時置く量は減りますが、検索と転送が増えるため、実行可能性と応答待ち時間を分けて確認します。