Q4_K_M · 4Kコンテキスト

Qwen3.8-Flash-Next 総125Bのうちトークンごとに6Bが動作するMoEモデル · Q4_K_Mの推定メモリ約108GB

約180Bの在住重みを持つMoEモデルで、125BコアLM(6Bアクティブ)およびアーキテクチャ内蔵の51B n-gram/PLEインベーディングおよび4B MTPで構成されています。内蔵された51B PLEインベーディングテーブルはRAMオフロードが可能であり、プロンプト内の繰り返し文脈を検出するプロンプトリクエスト検索(Prompt Lookup)と投機的デコーディングとは別に機能します。

Q4_K_Mの推定メモリ
約108GB
総パラメータ
125B
活性パラメータ
6B
ネイティブコンテキスト
256K

モデルから探す

このモデルに合う機器を探す

文書検索も同時に動かすなら

埋め込み・再ランキングモデルを同じGPUまたはユニファイドメモリに置く場合の予備容量です。CPUで別に動かすなら追加なしにしてください。

条件に合う機器 29· 5件を表示

Studio M5 Ultra 256GB

余裕あり · Q4_K_M · 空き 81.0GB

₩19,250,000

115.0 ~ 172.6 tok/s

2× DGX Spark 256GB

余裕あり · Q4_K_M · 空き 124.9GB

₩19,818,800

16.7 ~ 33.8 tok/s

Studio M3 Ultra 512GB

余裕あり · Q4_K_M · 空き 372.9GB

₩25,000,000

50 ~ 70.3 tok/s

Studio M5 Ultra 512GB

余裕あり · Q4_K_M · 空き 325.0GB

₩38,475,000

103.5 ~ 184.1 tok/s

RTX 5060 8GB

実行可能 · 速度を確認 · IQ2_XS · 空き 0.0GB

₩1,863,585

33.5 ~ 73.9 tok/s

価格は範囲の中央値です。GPU単体には基本構成の費用を加えています。速度は同じモデル・4K入力での推定です。

実行ガイド

Qwen3.8-Flash-Next ローカルサービィング実行レシピ

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値も一緒に変更されます。

デバイス別速度チューニング

デバイスから再選択したい場合

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。