Ling-3.0-flash-VLをローカル実行：INT4 70.87GiBの意味

全体は124.85Bで、SGLangの5.1Bはトークンごとに使用する部分です。MoEは専門家を選んで計算しますが、すべての重みにアクセスする必要があります。保存領域と実行メモリは配布ファイル全体で準備します。

SGLang設定は標準128K contextで、256KはYaRN拡張です。長文・動画フレーム・質問・runtime⁵ buffer・KV cache⁶がメモリを共有します。context上限は対応範囲であり、全要求で同じ量を処理する約束ではないため、実際に必要なフレーム数とテキスト長から始めてください。

公式重みファイルはBF16約232.55GiB、INT4 70.87GiB、FP4 64.81GiBです。これはダウンロード・保存容量であり、実行余裕と入力処理メモリは別途必要です。ファイルを変換する場合は元ファイルと変換後の両方を置く領域を確保してください。

公式FP4はNVIDIA NVFP4⁷やGGUF⁸を意味せず、INT4もすべての4-bit loaderと互換ではありません。scale方式やkernelが異なる場合があるため、checkpoint⁹形式とモデルarchitectureに対応するruntimeか確認してください。ファイルを開けない場合はメモリ不足と決めつけず、形式とkernel対応を先に点検します。

Ling-3.0-flash-VLは画像や動画フレームを見てテキストで答えますが、動画を生成しません。製品動画でロゴが映る時点を尋ねるなら、重要な場面数枚と具体的な質問から始めます。256K contextを設定しても動画全体が自動入力されるわけではなく、フレーム数・解像度・説明文がメモリを使います。

回答が挙げた時点の元フレームを開き、物体や動作が実際に見えるか確認してください。字幕の製品名を読んだのか、画面上のロゴを認識したのかも区別します。フレームを別途抽出した場合は、元動画の時刻をファイル名や入力に記録し、次の確認者が同じ場面を探せるようにします。

SGLang の公式ガイドは、DGX Spark 1 台で INT4 と MXFP4 を比較しています。条件は入力 8,192 トークン、出力 1,024 トークン、同時リクエスト 1 件です。トークン間遅延の中央値は INT4 が 44.18ms、MXFP4 が 30.18ms でした。

生成速度はそれぞれ約 22.6 tok/s と 33.1 tok/s です。MXFP4 は NVFP4 とは異なる形式なので、同じ設定として扱わないでください。

first tokenまでの中央値はINT4約2.89秒、MXFP4約2.54秒です。この待ち時間には入力prefill¹⁰が含まれ、その後のtoken間隔はdecode¹¹速度を示します。測定はテキスト条件で画像前処理を含まず、他のGPU¹²やMacに一般化できません。同時要求1件の測定から複数チーム利用の容量も判断できません。

答えが分かっている短い動画で映像作業を別途試してください。モデルが「00:12頃に箱の右側にロゴ」と答えたら元フレームと照合し、字幕を読んだのか画面のロゴを見たのか確認します。runtime形式・質問・出力予算・入力token数を揃え、first token待ちと生成区間を分けて記録してください。