AMD Radeonで自宅のリアルタイム音声アシスタント：Ming Voiceの20GB VRAM条件

Ming Voiceはマイクに向かって話すと音声で答えるプログラムです。音声認識・言語モデル・音声合成を別々につなぐのではなく、音声を入力して音声を出すMing-3.0-audio-tinyをGPU³に載せて会話を処理します。

話し終えたかどうかはSmart Turn v3が抑揚と内容から判断します。返答が始まった後に話し続けると、その返答を取り消して1ターンとして処理し直します。スピーカーで聞きながら割り込んでも、自分の声は除外してあなたの声だけに反応します。

モデルは全体9.3Bのうち2.7Bだけが活性化するMoE構造です。それでもbf16の重みは20.5GBを占めるため24GBのカードが必要です。カードのメモリが23GB未満なら、エキスパート層をint8にして12.5GBまで下げます。

12GBのカードやノートPCの内蔵GPUには載りません。対応はRadeon RX 6800以降とRTX 30シリーズ以降です。16GBに抑えても画面・ドライバ・他のアプリが使うVRAM⁴を差し引くと余裕は小さく、ゲームや動画編集との同時利用は難しいです。

Linuxではインストーラを1行で実行します。カードに合わせてPythonとPyTorch⁵を用意し、20GBのモデルをダウンロードします。ROCm⁶は別途入れなくても、PyTorchが7.2を一緒に持ち込みます。WindowsはPowerShellでインストーラを実行するとWSL2まで準備します。

重みは約20GBのダウンロードで、導入とキャッシュを含めると30GB前後のディスクを使います。インストール後の初回起動はカーネルのコンパイルで1〜2分かかり、以降はモデルの読み込みに30秒ほどです。その後はブラウザから会話を始められます。

作者がRadeon RX 7900 XTX 24GBで測った値です。発話終了から最初の音声まで中央値0.23秒でした。返答は発話が終わる直前の0.2秒ほどの間で先に作られ、その間が終わるとすぐ再生されます。

16GBカードのint8経路では同じ数値をそのまま期待できません。精度を下げると計算は軽くなりますが、カード世代とドライバでばらつきが大きくなります。自分の環境で最初の音声までの時間を測り、1秒を超えるなら返答を短くするのが良いです。

Home Assistantをつなぐと、照明やプラグ、音楽、空調を音声で操作できます。「リビングの照明を消して」のような命令はモデルを通さずに実行され、時間指定の予約も扱えます。Jellyfinの再生も同じように接続します。

他のアプリから使うにはOpenAI互換API⁷かWyoming⁸ブリッジを使います。ツールを有効にすると検索語と地名だけが外部に出て、無効にすれば完全オフラインで動きます。音声そのものはどの場合も外に出ません。

Apple Siliconは未対応です。カーネルがTritonとROCm・CUDA⁹を前提にしており、MacのMetal¹⁰経路では動きません。Macで音声アシスタントを作るなら、MLX¹¹に移植された別のモデルを選ぶ必要があります。

対応言語は英語と中国語です。韓国語には別のモデルが必要で、コードはMITなので改変・再配布は自由です。モデルを読み込んでいる間はVRAMを占有するため、同じGPUで他の作業を並行するのは難しいです。