oMLXでMacのローカルAIを動かす：0.7.1rc1の新設定は？

安定版は0.7.0、0.7.1rc1は新機能を試すリリース候補です。以下には先行する0.7.1.dev1の変更と再現手順も残しています。管理画面かomlx --versionで版を調べ、DMGアプリかソースからの導入かも別に確認します。アプリは新しいbundleで、ソース版は対象バージョンの依存関係とkernelをそろえて更新します。

oMLXはGGUF²ではなくMLXチェックポイント³を実行します。Apple Silicon搭載MacとmacOS 15以降で利用できます。新規インストールでは公式ReleasesからmacOS用DMGをダウンロードして開き、oMLXをApplicationsフォルダーに移して起動します。開始画面でモデルフォルダーを選び、サーバーを起動して対応するMLXチェックポイントをダウンロードしてください。モデル形式と量子化⁴がMacのユニファイドメモリ⁵に収まるかも確認します。

サーバーが起動したら、管理画面はhttp://localhost:8000/admin、チャット画面はhttp://localhost:8000/admin/chatで開きます。まず短い質問を送り、モデルが応答することを確認してください。開発版を試す場合は、既存のAPI⁶接続設定とモデルフォルダーを記録しておくと、以前の環境と比較できます。

画面上の短い質問でモデル応答を確認したら、性能比較に進む前にAPIの基本接続も確かめます。YOUR_OMLX_API_KEYは管理画面で設定したキーに置き換えてください。

curl http://127.0.0.1:8000/health
curl http://127.0.0.1:8000/v1/models -H 'Authorization: Bearer YOUR_OMLX_API_KEY'

/healthで正常状態が返り、/v1/modelsに使用可能なモデルIDが表示されれば、サーバーとAPI認証の準備ができています。接続できない場合は、まずサーバーが起動しているか確認します。モデル一覧のリクエストで401が返る場合はキーを確認してください。一覧が空なら、モデルフォルダーとチェックポイントのダウンロード状態を調べます。

2026年10月15日公開の0.7.1rc1はリリース候補版です。安定版は0.7.0で、新機能を試す場合はrc1を選びます。更新前に使用中のモデルと設定を記録すると、不具合時に同じモデルで安定版へ戻して比較できます。

Qwen3.8・Qwen3.6をSplashで動かしても、モデル一覧とAPIアドレスはoMLXで管理できます。Settings → Integrations → External enginesでSplashを指定し、モデルのModel Settings → AdvancedでUse external engineを有効にします。対応するDFlash2の重みもoMLXのモデルフォルダーへ用意してください。

Muse Spark Openにも新しく対応しました。oQ3eの370GB構成は512GB Macが対象です。使うモデルを決めてから、統合メモリと他アプリに残す容量を計算してください。新しいダウンロード画面では、そのMacで読み込める候補を提案します。

プリフィル⁷は、モデルが質問や文書を読み、最初の応答を準備する段階です。0.7.1.dev1のbatched prefillは、近いタイミングで入力処理を始めた複数リクエストのchunkを1回のforwardでまとめて計算します。リクエストごとのキャッシュを分けて維持しながら、MoE⁸のexpert weightを個別に読み込む回数を減らします。追加設定は不要です。複数ユーザーのリクエストが重なるサーバーで確認できる変更です。

リリースの表は、同時に送る場合、間隔を空ける場合、生成中のリクエストに新しいリクエストが加わる場合を分けています。リクエストが重なると、次の入力を進行中の生成と並行してプリフィルできます。そのため、単独生成速度より最初のトークン⁹までの待ち時間に注目します。表の3つのパターンとハードウェア別の結果を、自分の使い方に合わせて読んでください。

個人用Macでは、まずリクエストが実際に重なっているか確認します。同じプロンプト¹⁰を単独で送り、次に複数のリクエストを重ねて、最初のトークンまでの時間と全体の完了時間を別々に記録してください。モデルファイル、コンテキスト、回答長、同時リクエスト数は同じにします。1件だけでも最初の応答が遅い場合は、batched prefillの数値より先に入力長、モデル読み込み、メモリ状態を調べます。

Qwen3.8-Flash-Nextのgroup size 32チェックポイントはdecode¹¹経路を最適化します。M3 UltraではMTP¹² onの別比較が98から134 tok/s（+37%）でした。表のFlash-Next行はMTP offでの測定です。

Qwen3.8-27B oQ8eのINT8 activation prefillは、長い入力を読むプリフィル段階に適用されます。M5 Maxで4K入力の結果は+25%で、16Kの条件は表にまとめています。Experimental Featuresに項目が表示されるモデルで有効にし、長文書の最初のトークンまでの待ち時間と生成速度を分けて記録します。

Lightning MTPはモデル内の次トークン予測headで候補を作り、メインモデルが確認することでdecodeの逐次計算を減らします。リリースで試されたモデル系統とファイル編集の条件は表にまとめています。対応チェックポイントで有効にし、同じリクエストで通常生成と完了時間、出力を比べてください。

同じリリースでは、Qwen3.6-35B-A3Bのdecodeが+31%（M5 Max）、GLM-5.3-Flashが+30%（M3 Ultra）、DeepSeek V4.1 Flashの初回実行が+48%（M3 Ultra）でした。処理段階とチップをそろえて読み、テスト記録にも同じ条件を残してください。

Qwen3.8-27Bを別の実行環境でも試すなら、TensorFoldのMacメモリ変更で必要ファイルと文脈長¹³を確認してください。同じ入力を使ってメモリ使用量、最初の回答までの時間、完了時間を記録します。

ソース版を更新すると、oMLX 0.7.1.dev1ではMLX 0.32.3を使います。以前のMLXでビルドしたカーネルは拒否され、遅い代替経路で動く場合があります。リリース案内に従い、既存のリポジトリと仮想環境¹⁴を準備して、リポジトリフォルダーからmake kernelsを実行します。

make kernels

エラーなくビルドが完了したらoMLXを再起動します。管理画面のEngine VersionsにMLX 0.32.3と表示されることを確認し、使い慣れた短いプロンプトを送ってください。モデルが読み込まれ応答が返れば、基本動作を確認できます。

make kernelsが失敗したら、エラーの最初の行と有効なPython仮想環境を確認します。コマンドが終了しても速度が低い場合は、Engine VersionsのMLXバージョンとカーネル状態、サーバーログのカーネル読み込みエラーを確認してください。アプリ版ではこのソース手順ではなく、該当するインストール形態の公式ダウンロードを利用します。

リリースではデバッグ用のOMLX_*環境変数が約150個削除され、読み込まれなくなりました。OMLX_MOE_EXPERT_OFFLOAD、OMLX_QWEN35_ANE_PREFILL、OMLX_RDMA_STAGE_LINKSも対象です。対応モデルで機能を使う場合は、管理画面のモデル設定で調整します。

たとえばモデル別のExperimental Featuresには、対応モデルの場合にINT8 activation prefillやANE¹⁵ prefillなどが表示されます。設定を変える前に現在値を記録し、項目を1つだけ変更して同じ質問を送ってください。入力トークン数、最初のトークンまでの時間、回答生成速度、エラーを比べると、実際の使い方に影響したか確認できます。

モデル一覧が読み込まれない場合は、まずモデルフォルダーとダウンロード状態を確認します。サーバーは開くのに応答しない場合は、管理画面の状態表示とサーバーログから最初のエラーを探します。メモリエラーなら別のモデルをアンロードするか同時リクエストを減らし、短い入力で再試行してください。速度だけが変わった場合は設定名だけでなく、入力長、モデルファイル、キャッシュ状態が同じだったかも確認します。

ClefやOpenJev系のモデルは、毎回自由文を生成するのではなく、状態と選択肢を読み取り、各選択肢の確率を返す決定モデルです。oMLXはPOST /v1/systemoneでTypeSafe System One形式のリクエストを受け付けます。質問タイプはnoul、choice、scoreです。チェックポイントを自動検出するか、モデルタイプをdecisionに指定できます。標準の/v1/chat/completionsとは目的が異なるため、この形式に対応済みのアプリまたは独自クライアントで利用します。

EmbeddingGemma 2は画像と音声の入力にも対応し、rerankリクエストにはinstructionとmax_lengthが追加されました。音声ローダーはFish・TADA・LongCatのref_audio処理を改善しています。これらのモデルを使うアプリでは、モデルカードとAPIの形式に合わせて画像・音声・参照音声を送ります。

Webダッシュボードは新しいレイアウトになり、詳細ログ、設定セクションへのリンク、RestartとUnload all、まとめて実行するベンチマークプリセットが加わりました。更新後は新しい設定レールとServing Statsでモデル状態を確認します。管理画面でモデルログと再起動操作の位置も確認してください。

同時リクエストが少なく、0.7.0で作業が安定して完了するなら、安定版を使い続けても十分です。リクエストが重なったときに最初のトークンまでの待ち時間が問題なら、同じプロンプトと同時リクエスト数で0.7.1.dev1のTTFT¹⁶を測定します。特定のQwenチェックポイントで入力処理や生成が遅い場合は、group size、MTP、INT8 prefillの対応条件を確認し、そのモデルだけで比較してください。

インストールしたバージョン、モデルリポジトリと量子化、Macのチップ、入力長、同時リクエスト数、MTPとキャッシュの設定、最初のトークンまでの時間、完了時間、回答品質を記録します。リリースの数値は各変更直前のコードとの比較であり、0.7.0全体との包括的な比較ではありません。自分のモデルとリクエストで繰り返し確認できる変化をもとに更新を判断してください。

基本的なリクエストが失敗する場合は、最適化オプションを追加する前にサーバーとモデルを正常に読み込める状態にします。同じ短いリクエストで応答を確認してから、機能を1つずつ試せば問題の原因を絞り込めます。実作業は安定版サーバーで続け、記録をもとに開発版のテストを分離するか、新機能の確認後に移行するか決めてください。