ローカル音声秘書の作成：ASR・LLM・MCP・TTS接続ガイド

マイク入力をASRが書き換え、LLMが要求の意図を判断します。ファイル検索またはスケジュール検索が必要な場合は、MCP⁴ツールを呼び出して、完成した答えをTTSが再び音声で読み取ります。いずれの段階でも遅れると、会話全体が途切れるように見えます。

最初は、ストリーミングASR、短いシステムプロンプト、小さな判断モデル、短い音声応答で往復時間を短縮します。長い説明が必要な場合にのみ、より大きなモデルまたは長いTTS出力を書き込む階層構成が実用的です。

ASRが文の最後まで待つ時間、LLMの最初のトークン⁵、ツールの実行、TTSの最初のオーディオをそれぞれ記録します。全体の完了時間だけ見るとどの部分を変えなければならないのか分かりにくいです。

馬が終わる前に部分的な戦士を渡し、LLMの答えの最初の文が完成したら、TTSを始めると体感待機を減らすことができます。ただし、中間結果が変わる可能性があるため、コマンドの実行は最終転写またはユーザー確認の後に進みます。

ローカルMCPサーバーは、実行アカウントが持つファイルとプログラム権限を使用できます。ソースとコードを確認し、必要なディレクトリだけにアクセスし、パブリックネットワークに公開しているサーバーに認証を残します。

最初は検索や検索のように元に戻すことができるツールのみをリンクします。ファイルの削除、支払い、外部メッセージ転送は実行前に確認を受け取り、要求と結果をユーザーが読める形式で残します。

「会議の録音を転写し、今日やるべきことを読んでください」のように、入力と出力が明確な1つの流れを決めます。 ASR精度、ツール成功率、最初の音声応答時間を同じシナリオで繰り返し測定します。

その流れが安定したら、カレンダー、文書検索、ホームオートメーションなど、権限の異なるツールを1つずつ追加します。機能の数よりも失敗したときに停止し、ユーザーに何ができなかったかを伝えることができるのが最初です。