LocalsでMacのコーディングエージェントを同時に複数動かす

LocalsはMacの中でAIモデルを動かし、他のプログラムからのリクエストに答えるサーバーです。ターミナルのコマンド1つでMacのメモリに合うモデルを起動し、そのフォルダで開くコーディングエージェントをこのモデルに接続します。モデルと会話する画面ではなく、複数のエージェントが同じモデルにリクエストを送っても処理量が大きく落ちないように作られた点が、このプログラムの目的です。

エージェントはチャット欄に1行送るのとは動きが違います。ファイルを読みコマンドを実行するためにツールを呼び出し、その呼び出しが決まった形式で返らないと次の段階に進めません。会話が長くなるほどプロンプトも長くなり、コーディング assistant は補助エージェントを同時に複数立ち上げます。通常のMac向け推論ツールはこの状況を前提に作られていないため、リクエストが重なると1件ずつ処理するより遅くなります。

Appleシリコン（M1以降）とmacOS 14以降が必要です。メモリ16GBなら既定のモデルがよく合い、8GBならより小さいモデルを選びます。インストールスクリプトを実行するか、uvでPyPIから取得します。

新しいターミナルウィンドウでプロジェクトフォルダを指定して実行します。

locals code ~/my-project

初回はMacのメモリに合うモデルを約3GBダウンロードしてバックグラウンドで起動し、そのフォルダでOpenCodeを開きます。ダウンロードが終わったらエディタでファイルを1つ開き、小さな修正を頼んで最初の回答が出るか確認してください。モデルファイルと会話履歴はMacの外に出ません。

OpenCodeはlocals setupで一度接続すれば、モデル一覧からLocalsを選べます。VS Code拡張やZed、JetBrainsのようにOpenAI互換プロバイダーを扱えるツールは、サーバーアドレスを直接入力します。

Ollama形式だけを扱うアプリはlocals launch ollamaで接続します。Open WebUIやRaycastのようにOllamaをサポートするアプリは、アドレスを別途入力する必要がありません。

サーバーアドレスとモデル名はlocals launch editorを実行すると、いま動いているモデル基準で再表示されます。

サーバーはターミナルウィンドウを閉じても動き続けます。locals statusで状態を確認し、locals stopで停止します。同じエージェントを別のサーバーと使い分けるときはlocals disconnect opencodeで設定を戻します。

M2 Pro（19コアGPU⁵）と16GBのMacBook Proで、Qwen3.5-4Bを4ビットで動かした測定です。リクエストが1件のときはmlx-lmと近い値ですが、同時に送る数が増えるほど差が開きます。

条件はMacBook ProのM2 Pro 19コアGPUと16GB、Qwen3.5-4Bの4ビット、MLX⁶ 0.32で、2つのツールを同じプロセス内で比較しました。同じモデルをサーバーAPI⁷経由で呼び出してクライアント側で数えると、8件同時で毎秒244トークンとなり倍率は3.2倍でほぼ変わりません。

倍率が大きくなるのは、リクエストを別々に計算しないためです。複数エージェントのリクエストをひとまとめにしてGPUに載せ、1回の計算で処理し、そのバッチサイズ⁸に合わせたカーネルを別に用意します。ツール呼び出しを書く段階でもGPU上で形式の規則を強制するため、形式がずれてやり直す回数が減ります。

他のサーバーと同条件で比べた値もあります。1,000トークンのプロンプトを8件同時に送ったとき、最初のトークンまでの時間はLocals 1.6秒、llama.cpp 2.1秒、Ollama 41.8秒で、毎秒トークンは110、71、34でした。

リクエストを1件だけ送り再利用するものがない場合、差はほとんどありません。同じM2 Proで毎秒64トークンと、mlx-lmの61トークンに近い値です。回答がプロンプトを書き直す作業やプロンプトキャッシュが当たるときは、1件でも速くなります。

プロンプトを読む作業はGPUの演算量に縛られます。8,000トークンのプロンプトを8件同時に送ると毎秒57トークンまでしか出ません。時間の大半がプロンプトの読み込みに使われるためです。

4ビットaffine量子化⁹（グループ64）に合わせたカーネルのみ調整されています。mxfp4などの他の形式はmlx-lmと同じ速度で動きます。M5のニューラルアクセラレータはMLX自身のカーネルがすでに使っているため、倍率は1.5倍まで下がります。

モデルは同時に1つだけ動きます。locals start --model lfmのように名前を付けて切り替え、いま動いているモデルはlocals statusで確認します。

8件同時に送った値で、既定値はMacのメモリによって変わります。12GB未満ではQwen3.5-2Bが既定になります。

メモリが24GB以上ならFlint（総40B、トークンあたり2.5Bが有効）を選べます。ファイルは17.8GBで、M4 Pro 24GBでは1件で毎秒115トークン、8件同時で264トークンでした。24GBのMacはGPUに16GBしか渡さない場合があり、locals startが増やす方法を案内します。

長い作業ではLOCALS_KV_BITS=8を付けてキーと値を8ビットで保持します。Flintではリクエスト長が約35,800トークンから67,584トークンに伸び、書き出し速度は4〜13%遅くなります。

リポジトリは2026年10月12日に公開され、10月25日時点のPyPI最新版は0.2.1です。コマンド名や既定モデルがまだ速く変わる段階なので、インストールしたバージョンでlocals --helpが表示するオプションを基準にしてください。

サーバーはこのMacの中からのリクエストだけを受け取り、外部には開きません。locals runで複数エージェントを動かすときはエージェントごとにプロジェクトの複製を渡し、テストが通ってから元のフォルダが変わります。

同じツールを呼び続けたり同じ文を繰り返したりする場合を検知して止める仕組みがあり、メモリ不足で中断する状況を防ぐ保護も入っています。

Apache 2.0で公開され、計算方法はarXiv 2610.09139の論文にまとまっています。