Laya-MLX：Macで13msで選択を終える決定モデル

Laya-MLXは文章を作りません。状態と質問を一緒に入れ、決められた選択肢ごとに確率を返します。出力トークン²が0個なのはこのためです。

構造はエンコーダと決定ヘッドに分かれます。双方向エンコーダが状態と質問を一緒に読み、ヘッドが確率を計算します。トークンを1つずつつなぐ処理がないため遅延が短くなります。

生成モデルに選択を任せると、答えを文章で受け取って再び解析する必要があります。形式が崩れれば再試行が増え、その分だけ遅延も増えます。確率を直接受け取れば解析の段階がなくなります。

モデルは4億2,100万と3億2,200万の2系統です。同じMacで生成モデルを動かす場合に比べ、メモリ使用量は1GB未満です。

選択は名前の付いた候補のどれに当たるかを確率で答えます。スコアは決められた段階に当たる確率と期待値を出し、真偽は命題が正しい確率を1つ返します。

文章を書いたり複数段階を推論したりする用途には向きません。決められた候補から選ぶ、決められた段階に評価を付ける作業のためのツールです。

パッケージをインストールし、モデルを読み込んで状態と質問を渡します。以下の例は問い合わせ文を3つの部署のどれかに振り分けるコードです。

pip install laya-mlx

初回の読み込みでチェックポイント³を取得し、それ以降はローカルだけで実行されます。Python 3.11以上とmacOS 14以上が必要です。

import laya_mlx as laya

agent = laya.load("aac6fef/laya-mlx")
result = agent.predict(
    "I was billed twice. Please refund the duplicate.",
    {"department": {
        "type": "choice",
        "instructions": "Who should handle this?",
        "criteria": ["billing", "technical", "sales"],
    }},
)
print(result["answers"]["department"])

GPU⁴ではなくCPU⁵でも動かせます。バックエンドを変えるだけで、同じコードのまま2つの方式を行き来できます。

英語だけなら421Mモデルで足り、複数言語が混ざるなら多言語チェックポイントが速くなります。コンテキストの上限がそれぞれ違うため、長い指示を入れる前にこの値を確認します。

変換済みのFP16⁶チェックポイントが公開されているため、原本から自分で変換しなくてもそのまま読み込めます。

測定環境はM3 Maxの40コアGPUと128GBメモリです。時間にはプロンプト⁷準備、トークン化、同期された推論、キャリブレーション、結果の整形が含まれ、モデルの読み込み時間は含みません。

質問の長さと件数が変われば値も変わります。表の数字は短い質問1件と50件のまとめを測ったもので、長い指示を入れると遅延が増えます。

MLXに移植した実装が原本と同じ選択をするかを63の検証質問で確認しました。FP32⁸とFP16の両方で63件すべてが一致し、378回の比較がすべて通りました。

同じ呼び出しを100回繰り返しても結果は有限で同一であり、メモリ使用量も増えませんでした。これはそれらの検証質問についての結果で、すべての質問で同じという意味ではありません。

ゲームのデモも同じ検証に使われます。スネークの1プレイで2,400回の移動を処理し、安全装置が2回介入し、途中で止まりませんでした。

速度より先に見たのがこの一致です。確率を使う場面では1%の差が判断を変えるため、移植した実装が原本と同じ答えを出すことが出発点になります。

HTTPサーバーとMCP⁹サーバーのエントリポイントが同梱されています。アプリから呼ぶ場合もエージェントのツールとして公開する場合も、追加のコードは要りません。

pip install 'laya-mlx[serve]'
laya-mlx-serve

LangChainやLlamaIndexなどのフレームワークにつなぐ拡張も別に用意されています。すでに使っているパイプライン¹⁰の決定段階だけを差し替えられます。

複数の質問をまとめて送るときはバッチサイズ¹¹を調整します。既定値は16で、上の50件の処理量は64でまとめたときの値です。

このパッケージは原作者の公式配布ではなく、MLXへ移植した独立ポートです。重みや質問形式、キャリブレーション、出力スキーマは原本のままですが、対応範囲は原本と異なります。

CUDA¹²やONNXでの実行、学習は含まれていません。学習が必要なら上流のプロジェクトを使い、このパッケージは推論と変換だけを担当します。

原本プロジェクトのどのバージョンに追従しているかがリポジトリに記録されています。その記録を原本の文書と照らせば、まだ無い機能を確認できます。

測定はmacOS 27.2で行われ、より古いmacOSで同じ値になるとは限りません。使い始めるときは短い質問で遅延を自分で測るのが安全です。