MXFP4 · 4Kコンテキスト

Ling-3.0-flash-VL 総124.848460496Bのうちトークンごとに5.1Bが動作するMoEモデル · MXFP4の推定メモリ約71GB

総約124.85B・有効約5.1Bの画像・動画入力MoEモデルです。標準文脈は128Kです。DGX Sparkの公式INT4・MXFP4測定のみを速度基準に使い、他の機材には適用しません。

MXFP4の推定メモリ
約71GB
総パラメータ
124.848460496B
活性パラメータ
5.1B
ネイティブコンテキスト
128K

このモデルを実行する代表的な設備

DGX Spark 128GB

利用可能 116GB · 273GB/s

SGLang MXFP4 · TP=1

トークン生成

33.13 tok/s · 8K実測アンカー

最初のトークン

1.27秒 · 推定

実行ガイド

Ling-3.0-flash-VL ローカルサービィング実行レシピ

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値も一緒に変更されます。

デバイス別速度チューニング

デバイスから再選択したい場合

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。