Ling 3.1 Flashの実行にはどんなサーバーが必要ですか？

Ling 3.1 Flashはテキスト入力から回答を生成する言語モデルで、コーディングやエージェント処理に使えます。総560Bパラメータのうちトークンごとに25Bを有効化し、最大100万トークンの文脈に対応します。公式FP8チェックポイントのファイル一覧は約574GBです。モデルカードとファイル一覧

コンテキスト長は、モデルが一度に処理できる入力の上限です。長い文書ほど KV cache⁵ と推論エンジンにも多くのメモリが必要です。使用できる GPU⁶ メモリと文書の長さを確認し、作業に必要なコンテキスト長を設定します。

公式の SGLang クイックスタートでは、H200 8 基で TP8・EP8、または GB300 4 基で TP4・EP4 を構成します。モデルファイルは約 574 GB で、推論時にはコンテキスト長に応じて KV cache とランタイム⁷用のメモリも必要です。ストレージと GPU 構成を確認し、実際のリクエストに合わせてコンテキスト長を設定します。SGLang の実行ガイド

テンソル並列⁸(TP)は計算をGPU間に分割し、エキスパート並列(EP)はMoEの専門家を複数GPUに配置します。下の表で公式構成に合う設定を確認し、実際の文脈長⁹に応じたKVキャッシュと余裕メモリも見込んでください。

まずモデルカードに従ってSGLangコンテナを取得します。次のコマンドは8基のH200向けで、同じPCからの接続に限定するため公式例の0.0.0.0ではなく--host 127.0.0.1を使います。他のPCから接続できるようにする場合は、ネットワーク制御と認証を設定してください。約574GBのチェックポイントをコンテナ削除後に再ダウンロードせずに済むよう、Hugging Faceキャッシュをホスト側のストレージにマウントします。キャッシュの保存先

docker pull lmsysorg/sglang:dev-ling-3.1-flash
mkdir -p "$HOME/.cache/huggingface"

docker run --gpus all --network host --ipc=host --rm \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 127.0.0.1 --port 30000

サーバーの準備ができたら http://127.0.0.1:30000/v1/chat/completions にリクエストを送ります。OpenAI 互換 API¹⁰ ではモデル ID Ling-3.1-flash を使い、enable_thinking、temperature、top-k、top-p の設定はモデルカードの例を参考にします。

まず短いテキストを送り、応答を確認します。その後、実際の文書の長さとツール呼び出し¹¹を試します。応答がなければ、コンテナログでモデル読み込みエラーや GPU メモリ不足を確認します。公式の実行ガイド

curl -s http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Ling-3.1-flash","messages":[{"role":"user","content":"一文で短く要約してください。"}],"chat_template_kwargs":{"enable_thinking":true},"temperature":1.0,"top_k":20,"top_p":0.95,"stream":true}'

10月19日の日付が付いた版（Ling-3.1-flash-1019）が公開されました。構造と文脈長はそのままで、後処理学習が変わりました。総560B・活性25B、1Mの文脈、8×H200の構成も従来どおりです。

点数はこう上がりました。Artificial Analysisの知能指数が41から44、AA-Briefcaseが1400から1524 Elo、AutomationBenchが62%から68%、CritPtが18%から26%、SciCodeが54%から57%です。

日付付きの版は前の版と混ざりやすいです。起動時に--model-pathがどの版を指すか、取得済みキャッシュがどのリビジョンかを確認してください。

長いコンテキストやコーディング・エージェント機能が必要か確認するには、代表的な作業を決め、同じ文書と出力長で繰り返します。最初のトークンまでの時間と全体の完了時間を記録すると、1M コンテキストや推論オプションが実作業に役立つか判断できます。公開ベンチマークの処理量は、測定時のデバイスと条件に基づきます。

チームにAPIを提供する前に、アクセスできる利用者とリクエスト・サーバーログの保存範囲を決めます。社内文書で試す場合は、資料を利用できる範囲も確認してください。