MacのNeural EngineでローカルAIを動かせる？GPU・MLXとの役割分担

録音を文字にするASR⁸には、音声を認識するモデルと結果をまとめるプログラムが必要です。WhisperKitはWhisperをCore MLで実行し、FluidAudioはParakeetなどの音声モデルを実行します。モデルを選んだら、Core MLのレポートでNeural Engineに配置される演算を確認します。音声処理とGPUのほかの仕事を分担できるか判断する材料になります。

議事録なら、まずASRで録音を文字にし、その文字をLLMへ渡して要約します。リアルタイム字幕では処理が重なるため、文字起こしと要約を同時に動かして遅延を比較してください。WhisperKit、FluidAudio

LLMは長い文書をプリフィルで読み、その後に回答を生成します。Splashなどのエンジンは対応モデルのプリフィルの一部をGPUとNeural Engineで分担します。この構成が短縮するのは、長文を送って最初の回答が出るまでの待ち時間です。Splash

ANE向けLLMを直接試すならANEMLLの変換モデルやサンプルがあります。モデル構造、文脈長⁹、変換方法ごとのファイルを使う開発者向けの経路です。普段のチャットが目的なら現在のGPU実行を基準にし、長文を送った後の待ち時間から分担の効果を比較すると始めやすくなります。ANEMLL

M5のGPUコアには行列計算を加速するNeural Acceleratorsがあります。MLXはMetal 4のTensorOpsとMetal Performance Primitivesを通じてこのGPU機能を使います。AppleのM5 MLX性能記事が説明するのは、このGPU経路です。Apple MLX・M5

M5 GPUのNeural Acceleratorsを使うアプリはGPUで計算します。Neural Engineの利用を調べるには、Core MLのレポートでANEに配置された演算を確認します。新しいMacを選ぶ際も、チップのTOPSとともに、使うモデルの実行先と処理完了までの時間を比較すると判断に役立ちます。

韓国語録音の文字起こしは多言語WhisperKitモデルから、複数の音声機能をアプリに入れるならFluidAudioから検討します。長い文書をLLMへ頻繁に送る場合は、Splashのプリフィル分担も比較できます。やりたい処理を決めてから、それに対応するモデルとプログラムを選んでください。

最初のモデル取得とコンパイルにかかった時間は別に記録します。準備が終わったら同じ録音や文書を2回実行し、初回と繰り返しの完了時間・結果を比べます。普段併用するアプリを開いた状態でも試してください。計算を担当する装置まで詳しく見るには、次のCore ML確認ガイドへ進みます。