mlx-audio：1回の導入で合成と認識を一緒に

mlx-audioはApple MLX²上で動く音声ライブラリです。テキストを入れれば音声が、音声を入れればテキストが出ます。合成、認識、音声同士の変換、音楽生成が1つに入っています。

モデルごとにコマンドが違うのではなく、同じCLI³と同じサーバーを使いモデル値だけ変えます。同じ文で複数モデルを比べるときにコードを書き直す必要がありません。

Mac専用です。Apple Siliconで動作し、CUDA⁴やROCm⁵の経路はありません。

MLX上で動くためApple Silicon向けに最適化されています。Pythonパッケージですが計算はMLXが担います。

pipで導入します。mp3やFLACで保存するならffmpegも必要で、wavだけであれば不要です。

1つのコマンドにモデル、文、声を渡します。文が複数なら分割ファイルが出て、--join_audioで1つにまとまります。

--streamを付けると生成され次第チャンクが届きます。すぐ聴くなら--play、ストリーム結果を保存するなら--saveを一緒に付けます。

対応言語はモデルごとに違います。一覧のうち韓国語を明記しているのは6つです。名前だけで選ぶと英語専用モデルを掴むことがあります。

声の複製⁶は参照音声が要るモデルと要らないモデルに分かれます。複製が目的なら、その機能を持つモデルから確認します。

Pythonではモデルを読み込み、文を渡します。モデル名だけ変えれば同じコードで別モデルが動きます。

モデルを変えるたびに重みを取得します。初回はダウンロードに時間がかかり、以降はローカルキャッシュを使います。

READMEにはモデル別の速度数値がありません。生成された長さとメモリの大きさを見て、最後は聴いて判断するのが正確です。

from mlx_audio.tts.utils import load_model

for name in [
    "mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit",
    "mlx-community/Ming-3.0-tts-tiny-8bit",
]:
    model = load_model(name)
    for chunk in model.generate("같은 문장을 읽어 봐요.", lang_code="Korean"):
        print(name, chunk.audio.shape[0])

サーバーを起動するとOpenAI形式の経路が開きます。その形式で繋がっているアプリなら接続先を変えるだけです。

合成はJSONで文を送り、認識は音声ファイルをmultipartで送ります。どちらも同じサーバーが処理します。

mlx_audio.server --host 0.0.0.0 --port 8000

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "mlx-community/Kokoro-82M-bf16", "input": "안녕하세요", "voice": "af_heart"}' \
  --output speech.wav

Web画面も同梱されていますが、サーバーとは別に起動する構成で、1つのコマンドで両方は開きません。

認識側にはWhisper系、Qwen3-ASR、Parakeetなどが入っています。合成と同じパッケージなので追加導入は不要です。

整列モデルは文と音声を時間単位で合わせます。字幕を作るとき、文の開始位置をこの値で決めます。

話者分離⁷モデルも一覧にあり、会議録音のように複数人が話したファイルを分けられます。

Swiftパッケージもあり、iOSやmacOSアプリに組み込めます。サーバーを経由せず直接呼び出す構成です。

同じモデルが3・4・6・8ビットで公開されています。モデル名の接尾辞を変えれば同じ文を別のビット幅で生成できます。

ビットを下げると必要なメモリが減り音質が少し変わります。会話用は8ビット、朗読用は4ビットから比べてみてください。

音質と速度の基準値はありません。モデルごとに条件が違うため、同じ文を入れて自分で比べる必要があります。

ffmpegが無いとwavでしか保存されません。mp3が必要なパイプライン⁸なら先に入れてください。

モデルのライセンスはリポジトリごとに違います。商用利用の前にモデルカードを確認してください。