Q4_K_M · 4Kコンテキスト

GLM-5.3-Flash (MoE) 総320Bのうちトークンごとに18Bが動作するMoEモデル · Q4_K_Mの推定メモリ約191GB

ハイブリッド稀疏+線形アテンション MoEモデルで、合計320Bパラメータ(18Bアクティブ)です。公式1,048,576(1M)トークンコンテキスト(text_config.max_position_embeddings)をサポートし、256GB以上の大容量メモリ環境に収容されます。

Q4_K_Mの推定メモリ
約191GB
総パラメータ
320B
活性パラメータ
18B
ネイティブコンテキスト
1024K

モデルから探す

このモデルに合う機器を探す

文書検索も同時に動かすなら

埋め込み・再ランキングモデルを同じGPUまたはユニファイドメモリに置く場合の予備容量です。CPUで別に動かすなら追加なしにしてください。

条件に合う機器 7· 5件を表示

Studio M5 Ultra 256GB

余裕あり · Q4_K_M · 空き 45.5GB

₩19,250,000

51.2 ~ 76.8 tok/s

2× DGX Spark 256GB

余裕あり · Q4_K_M · 空き 41.8GB

₩19,818,800

18.5 ~ 29.6 tok/s

Studio M3 Ultra 512GB

余裕あり · Q4_K_M · 空き 289.8GB

₩25,000,000

55.5 ~ 61.6 tok/s

Studio M5 Ultra 512GB

余裕あり · Q4_K_M · 空き 289.5GB

₩38,475,000

46.1 ~ 81.9 tok/s

2× A40 96GB (NVLink)

実行可能 · 速度を確認 · Q4_K_M · 空き 0.0GB

₩14,600,000

3.4 ~ 3.4 tok/s

価格は範囲の中央値です。GPU単体には基本構成の費用を加えています。速度は同じモデル・4K入力での推定です。

実行ガイド

GLM-5.3-Flash (MoE) ローカルサービィング実行レシピ

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値も一緒に変更されます。

デバイス別速度チューニング

デバイスから再選択したい場合

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。