モデル別実行レシピ
Qwen3.6 35B-A3B：vLLMとqwen3パーサーの設定
Qwen3.6 35B-A3Bは、アクティブ3Bという説明から小さいモデルに見えるかもしれません。しかし24GBの機器では、Q4の重み全体を載せた後の余裕が小さくなる場合があります。まずメモリの条件を整え、思考過程と最終回答を区別したうえで、普段の質問が速くなる設定を探します。
実行レシピ
機器別の設定
1人で使う場合
使う機器を選ぶと、起動コマンドと調整できる設定が表示されます。
プロファイル
Apple MacBook Pro M5 Pro (64GB)
メモリに収まる推奨ランタイム： oMLX (MLX 4ビット（GGUF Q4_K_Mとは別形式）) · ドキュメントに基づくランタイム設定
インストール後の初回実行や、毎日安定して使いたいときに
プロファイルのコンテキスト長
16,384 トークン
ランタイムのドキュメントに基づく初期設定です。下の手順に沿って調整し、速度を比べてください。
デコード速度の推定値
22.6 ~ 54.1 tok/s
1人で使う場合の推定値
最初のトークンまでの推定時間
8.9 ~ 21.2秒
プリフィル: 774 ~ 1,854 tok/s
推定メモリ使用量
約 21.91GB / 56GB
残余の余裕：少ない 34.1GB
サーバーアドレス
http://127.0.0.1:8000
ローカルのみ · 127.0.0.1
推定値は、計算ツールが推奨する量子化・高速化設定と 16,384トークンを基準にしています。上記の実行設定を測定した値ではありません。
このプロファイルの設定
| 設定値 | この設定にする理由 |
|---|---|
| モデルの重みMLX 4ビット（GGUF Q4_K_Mとは別形式） | MLXモデルのディレクトリを使います。Q4_K_MのGGUFとはファイル形式が異なります。 |
| 入力長の確認16,384 | リクエスト前にモデル設定の入力上限を確認してください。この起動コマンドではコンテキスト長を指定していません。 |
| KVキャッシュモデル設定で確認 | この起動コマンドではKVキャッシュの精度を指定していません。 |
| プリフィルのバッチサイズランタイム設定で確認 | llama.cppのbatch-sizeとubatch-sizeを、MLXの設定値としてそのまま使わないでください。 |
| 同時リクエスト数1 | 1件のリクエストの速度を測ります。複数リクエストを合わせた処理量とは分けて確認します。 |
| メモリの余裕2GB以上 | モデルの読み込み後に、実際のメモリ使用量とスワップの有無を確認します。 |
MBP M5 Pro 64GB 実行コマンド（oMLX)
MODEL_DIR="$HOME/.omlx/models"
omlx serve \
--model-dir "$MODEL_DIR" \
--host 127.0.0.1 \
--port 8000 \
--max-concurrent-requests 1 \
--memory-guard balanced起動後の確認
- 01起動ログで、モデルの読み込み完了と実際のコンテキスト長を確認します。
- 02ウォームアップ後はリクエストを1件ずつ送ります。同じ長さの異なる入力を3つ使い、キャッシュを再利用しない初回の処理時間を記録します。
- 03同じ入力を繰り返した結果は、キャッシュ再利用の記録として分けます。初回入力の結果と混ぜないでください。
- 04プリフィルtok/s、デコードtok/s、ピークメモリをまとめて記録し、その後は一項目ずつ変更します。
変わる点と注意点
- コンテキスト長と同時リクエスト数を控えめにしているため、機器の最大処理量より低い結果になることがあります。
1つずつ調整
高速化の手順
複数の値を一括で変更すると原因を特定するのが難しいです。
- STEP 1
基準値を保存
初回入力とキャッシュ再利用を分け、それぞれ3回記録します。プリフィル、デコード、ピークメモリを一緒に比較します。
とき： エラーがある場合やメモリの余裕が2GB未満の場合は、次の段階へ進まないでください。
- STEP 2
プリフィルのチャンクサイズを調整
1,024 → 2,048 → 4,096の順に増やし、長い入力のTTFTとピークメモリを比べます。
とき： TTFTが短くならない場合やピークメモリが急増する場合は、直前の値へ戻します。
- STEP 3
KVキャッシュ調整
コンテキスト長を確保したいときだけ、同じ質問でQ8キャッシュとF16/BF16の基準値を比較します。
とき： 出力に差が出る場合や、必要なコンテキスト長をすでに確保できている場合は、標準の精度を維持します。
- STEP 4
MTP・投機的デコーディング
対応モデルだけで有効にし、コードと通常の文章を分けて、採用率と実際のデコードtok/sを測定します。
とき： 3回の中央値が基準値より良くならなければ、無効に戻します。
- STEP 5
コンテキスト拡張
実際に必要な長さまで段階的に2倍ずつ伸ばし、入力途中の情報を見つけられるかと、スワップの有無を確認します。
とき： 情報を探す精度が落ちたり、スワップ・メモリ圧縮が始まったりしたら、一段階短くします。
自分の機器の測定記録を送る
同じ条件で3回以上測定したJSONを読み込んでください。送信ボタンを押すまでは、このブラウザ内でのみ確認します。
受け付けるのは機器・モデル・実行条件と測定値だけです。プロンプト・回答・元のログ・ファイルパスは含めないでください。
記録ファイルがなければ、起動中のローカルサーバーと測定ツールで作成できます。Node.js 20以上が必要です。結果の自動送信は行いません。
内容を確認したユーザーの投稿記録です。このサイトが直接測定した結果とは区別しています。
設定の問題を報告
この設定でどこにつまずいたかを教えてください。報告を読めるのは管理者だけです。
報告する設定 · MBP M5 Pro 64GB · Qwen3.6 35B-A3B (MoE) · バランス
Qwen3.6 35B-A3B (MoE) · 4K
Qwen3.6 35B-A3B (MoE)・入力4,096トークン・1人で使う場合の推定結果です。実測記録ではなく、速度体験と同じ計算値です。
すでにこの機器を持っているなら、まず以下の条件で体験してみてください。待ち時間が許容できるなら、速度だけを理由に買い替える必要はありません。
Mac mini M4 32GB · Qwen3.6 35B-A3B (MoE)
量子化: Q4_K_M · 高速化: none · トークン生成: 7.8 ~ 22.5 tok/s · 最初のトークン: 5.5 ~ 15.7秒
入力処理: 263 ~ 757 tok/s · 必要メモリ: 21.3GB · 利用可能メモリ: 27GB
DGX Spark 128GB · Qwen3.6 35B-A3B (MoE)
量子化: Q4_K_M · 高速化: none · トークン生成: 17 ~ 42.7 tok/s · 最初のトークン: 1.5 ~ 2.8秒
入力処理: 1,520 ~ 2,782 tok/s · 必要メモリ: 21.3GB · 利用可能メモリ: 116GB
2× DGX Spark 256GB · Qwen3.6 35B-A3B (MoE)
量子化: Q4_K_M · 高速化: none · トークン生成: 17 ~ 61.4 tok/s · 最初のトークン: 0.91 ~ 2.4秒
入力処理: 1,763 ~ 4,563 tok/s · 必要メモリ: 21.3GB · 利用可能メモリ: 232GB
2台構成ではモデルを分割して配置できます。メモリが増えても、1つの回答の生成速度が2倍になるとは限りません。機器間の接続と分散実行の設定が必要です。
24GBでは、モデルをメモリに載せた後の余裕が重要
互換性のあるQ4変換版は約20GBを目安としつつ、実際のファイル容量を確認してください。モデルの重み、4K〜8Kコンテキストのキャッシュ、実行用の領域を一緒に収める必要があります。GPUへの読み込み完了という表示だけで、長い会話まで保証されるわけではありません。
32GB以上でも、他のアプリとキャッシュに残せる余裕を確認します。公式チェックポイントはQ4変換版とは容量が異なります。下のマルチGPU例と、デスクトップでモデルファイルを開くコマンドは別の構成です。
ダウンロードするモデルに実行アプリが対応しているかを先に確認してください。すでに正常に動くファイルがあれば残したまま新しい構成を試すと、問題が出たときの比較基準になります。
サーバー例のGPU数は購入推奨ではない
公式vLLM例の並列数は、搭載機器、メモリ、ランタイムの対応条件に合わせる必要があります。コメントの8を「どんなGPUでも8枚あれば動く」という意味に読まないでください。デスクトップでQ4を使うなら、LM Studioか上の機器選択欄にある構成を使います。
vLLMでは、使うバージョンがモデルとqwen3推論パーサーに対応しているかを確認します。この例はvLLM 0.19.0以上の案内を出発点としていますが、実際に必要なのはインストール済みのバージョンでの対応です。サーバーはまずローカルアドレスだけにバインドします。
基準設定で正常に回答できてから、対応する組み合わせでMTPを追加します。多くのオプションを一度にコピーして出した最高記録より、基準値と変更項目を残した記録のほうが、自分の環境で原因を探すのに役立ちます。
GPU_COUNT=8 # 공식 예시는 8 GPU, 실제 구성에 맞춰 수정
vllm serve Qwen/Qwen3.6-35B-A3B --host 127.0.0.1 --port 8000 --tensor-parallel-size "$GPU_COUNT" --max-model-len 8192 --reasoning-parser qwen3 --gpu-memory-utilization 0.92lms ls
lms load <qwen-3.6-35b-identifier> --gpu=max --context-length=8192
lms server start --port 1234思考の時間と回答を書く時間を分ける
推論パーサーは、アプリが思考過程と最終回答を区別するためのものです。最終的な文章が出るまで時間がかかるときは、すでに思考トークンを生成していないか確認してください。その時間をすべてプリフィルに含めると、入力処理性能を誤って捉えてしまいます。
同じ質問で入力長、最大出力、思考設定をそろえて比べます。ウォームアップ後に3回の中央値と実際の出力トークン数を残してください。回答の長さが大きく異なる実行同士で完了時間だけを比べても、生成速度の差は切り分けにくくなります。
下のテストはvLLMの8000ポート向けです。LM Studioを使った場合は1234ポートと、読み込んだモデルの識別子に合わせます。アドレスが違えば、モデルが遅いのではなく別のサーバーに質問している可能性があります。
curl -N http://127.0.0.1:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "Qwen/Qwen3.6-35B-A3B",
"messages": [
{"role": "user", "content": "파이썬으로 이진 탐색 함수를 작성하고 시간 복잡도를 설명해줘."}
],
"max_tokens": 1024,
"stream": true
}'コンテキスト長と高速化の設定は一つずつ変える
24GBで余裕が少なければ、リクエストを1件に固定し、短いコンテキストを保ちます。必要な入力長まで伸ばすときは、キャッシュとピークメモリを確認してください。急に遅くなったら、まずスワップやCPUへ移された重みがないかを見ます。
対応するMTPを有効にしたら、平均採用トークン長とデコード速度が実際に改善したかを確認します。あるコード課題で得た高速化の倍率を、通常の文章生成にも当てはめないでください。キャッシュの精度とプリフィルのチャンクサイズも個別に比較します。
長い入力の待ち時間だけが問題なら、デコードの高速化より入力処理とキャッシュを調べる価値があります。どの段階が遅いかを記録しておけば、設定を増やさなくても次に試すことを絞れます。
起動できたら、普段の作業を最後まで試す
テスト用の二分探索コードだけで、十分に検証できたとは考えないでください。実際に修正したいコードや文書を入れて結果を見ます。必要な答えが得られることと、待ち時間を受け入れられることの両方がそろって、使える設定になります。
その状態のモデルファイル、ランタイム、コンテキスト長、高速化設定を保存してください。上位の機器を検討するときも、この条件が比較の基準になります。すでに十分なら、新しいGPUを買わずに現在の構成を使い続けるという結論も、このレシピの成果です。
NVFP4で実行するには
Spark向け設定ではMoEにMarlin、MTPにTritonが案内されています。NVFP4を選ぶだけではMTPは有効になりません。
vLLM · nvidia/Qwen3.6-35B-A3B-NVFP4
変更履歴
サイトの説明を変更した記録です。インストール済みのエンジンやモデルのバージョンを自動で確認した結果ではありません。
Macのモデル形式と実行設定を訂正
MacのMLX実行経路をGGUF Q4_K_Mと区別し、エンジン名・モデル形式・コマンドの表記を揃えました。コマンドで指定していないKVキャッシュ精度とプリフィルのバッチ設定は、モデル・ランタイム設定で確認する案内に変更しました。
コマンドは同じなのにバッチだけが大きくなるように見えていたMLX速度プロファイルも削除しました。
初回入力とキャッシュ再利用の記録を分離
検証手順を変更し、初めて読む入力と同じ入力を繰り返した結果を別々に記録するようにしました。キャッシュの効果を初回プリフィル処理量や機器の差に含めません。
機器・プロファイルの保存と再表示を追加
実行可能なプロファイルを機器の選択と一緒にこのブラウザに最大5件保存し、ガイド一覧から再び開けるようにしました。保存後に公開設定が変わったりプロファイルの提供が終了したりした場合は、実行前の再確認を案内します。
実行エンジンの説明へのリンクを追加
設定に表示されるエンジン名から、該当する実行プログラムの説明へ移動できるようにしました。エンジンを特定できない経路に、推測で別のプログラムをリンクすることはありません。