Ling-3.0-flash-VLをローカル実行：INT4 70.87GiBの意味

Ling-3.0-flash-VLは一部のエキスパートを選んで計算するMoEモデルです。124.85Bはモデル全体、5.1Bは一つのトークンで有効になる部分を示します。後者は計算量の理解には役立ちますが、選ばれない重みも保存し、実行時に参照できる必要があります。

5.1Bを小型の密モデルと同じように見て、一般的なノートPCのメモリを決めてはいけません。ファイル以外にもランタイム、作業領域、KVキャッシュが必要です。256K文脈を上限まで使う場合は短い会話より大きな余裕が要るため、上限と普段の入力長を分けて考えます。

公式リポジトリのファイル合計は、BF16が約232.55GiB、INT4が70.87GiB、FP4が64.81GiBです。これはダウンロードと保存計画の出発点です。実行には追加の余裕が必要で、変換するなら元ファイルと変換後ファイルを同時に置く容量も考えます。

公式FP4という表記はNVIDIA NVFP4やGGUFを意味せず、INT4もすべてのエンジンの4ビットローダーと自動互換ではありません。同じビット数でもスケール方式や必要なカーネルは異なります。ダウンロード前に、その配布版に対応する正確なサーバーイメージと手順を確認してください。

テキストと画像または動画フレームを入力し、内容を理解してテキストで答える視覚言語モデルです。新しい動画を作る生成モデルではありません。商品動画の要約や場面への質問には候補になりますが、動画生成時間を比べる用途では別のモデル群を選びます。

SGLangの標準文脈は128Kで、256KにはYaRN拡張設定が必要です。動画フレームと長い文書は入力予算とメモリを共有するため、フレーム数、解像度、テキスト長を一度に最大化せず、実際の作業一つから始めます。

SGLang公式ガイドにはDGX Spark一台のINT4とMXFP4の測定があります。入力8,192トークン、出力1,024トークン、同時リクエスト一件で、出力トークン間隔の中央値はINT4が44.18ms、MXFP4が30.18msでした。生成速度に換算すると約22.6 tok/s、33.1 tok/sです。MXFP4とNVFP4は名前が似ていても別形式です。

同条件で最初のトークンまでの中央値はINT4が約2.89秒、MXFP4が約2.54秒でした。当サイトではこの8K入力測定を基準に入力処理と生成を分けて体験できます。入力長を変えた値は推定で、このテキスト測定には画像の前処理時間を含めません。他のGPUやMacに同じ速度を当てはめることもしません。