vLLM Metal 0.30：1台のMacを複数人向けローカルAIサーバーにする

単独で文を生成するときは、メモリ帯域幅²とカーネル効率が速度に左右されます。複数の要求が重複する場合、スケジューラが空の計算区間をどれだけ充分に満たし、ＫＶキャッシュ空間をどれだけ無駄にするかが重要になる。 vLLM Metalは、後者の問題をMacで扱おうとするサーバーエンジンです。

サイトが保有する公開測定で、M5 Pro 64GBとQwen3-0.6B BF16³条件のvLLM Metal出力スループット⁴は、同時性1・8・16でそれぞれ136.3・445.7・497.2tok/sでした。この数値は、小さなモデルのサーバースループットであり、他のモデルのプライベートデコード⁵速度には移動しません。重要なのは、同時要求が発生したときに総スループット曲線を別々に見る必要があることです。

vLLM Metal 0.30 は KV ストレージを vLLM スケジューラによって統合管理し、Metal 側では MLX⁶ view で同じメモリを表示します。ハイブリッドモデルも、異なるキャッシュプールがメモリを二重にすることなく、予算全体を一緒に使用します。 PagedAttentionは常にオンになるため、過去の環境変数でオフにした設定はもはや基準ではありません。

以前のVLLM_METAL_MEMORY_FRACTION環境変数は削除され、--gpu⁷-memory-utilizationで予算を設定します。高すぎるとオペレーティングシステムや他のアプリがメモリの圧迫を受け、低すぎるとKVブロックが不足して同時要求が待機します。 0.70のように保守的に起動し、実際の並行性でスワップとメモリ圧力を見て上げます。

公式要件はApple Silicon、macOS 15以降、ネイティブarm64 Python 3.12です。 Rosettaで実行されているx86 Pythonが混在している場合、インストールされていてもMetalのパスが予想と異なる場合があります。ターミナルでアーキテクチャとPythonのバージョンを確認し、公式のインストールスクリプトまたはHomebrewのいずれかを選択します。

0.30では、fp8⁸・int8・nvfp4⁹ KVキャッシュ¹⁰dtypeを受け取らず、autoまたはTurboQuantパスを使用する必要があります。他のvLLMサーバーによって書き込まれたオプションをそのままコピーすると、開始段階で拒否される可能性があります。リリースノートの削除・変更項目を先に見て、現在のコマンドを短くします。

単一の要求で正常な回答とメモリ使用量を確認した後、並行性2・4・8順に上げます。各ステップで、トークン¹¹全体と同様に、要求ごとの最初のトークン時間とトークン間の遅延を記録します。総スループットが上がっても個人の要求が遅すぎる場合は、配置制限または最大シーケンス数を減らす必要があります。

コーディングエージェントは短い呼び出しを複数回送信し、文書の要約は長い入力を一度送信します。両方のタスクを同じ割合で混合したテストを作成する必要があり、実際のキューとプレフィルの競争を見ることができます。 1 種類の短いプロンプトで得られた最高スループットをチーム サーバーの容量として書きません。

vLLM Metalは、Rayランチャーとパイプライン並列¹²、Mac固有のデータ並列複製をサポートする方向に発展しました。ただし、1つのモデルを複数のMacに分割すると、ネットワーク同期はトークンごとに介入できます。モデルが1つのMacに入ると、各Macに同じサーバーを起動し、要求を分割する構成が問題を見つけて修復するのは簡単です。

1台が停止しても、残りのサーバーが要求を受け取ることができ、モデル更新も1台ずつ検証できます。逆に、モデルが1台に入らない場合にのみパイプライン¹³分割を確認してください。購入の決定は、単一の要求最高値ではなく、ターゲット同時ユーザーで維持される最初のトークン時間とフェイルバック方式で行われます。