로컬 음성 비서 만들기: ASR·LLM·MCP·TTS 연결 가이드

마이크 입력을 ASR이 글로 바꾸고, LLM이 요청 의도를 판단합니다. 파일 검색이나 일정 조회가 필요하면 MCP⁴ 도구를 호출하고, 완성된 답을 TTS가 다시 음성으로 읽습니다. 어느 단계든 늦으면 전체 대화가 끊겨 보입니다.

처음에는 스트리밍 ASR, 짧은 시스템 프롬프트, 작은 판단 모델, 짧은 음성 답변으로 왕복 시간을 줄입니다. 긴 설명이 필요할 때만 더 큰 모델이나 긴 TTS 출력을 쓰는 계층형 구성이 실용적입니다.

ASR이 문장 끝까지 기다리는 시간, LLM의 첫 토큰⁵, 도구 실행, TTS의 첫 오디오를 각각 기록합니다. 전체 완료시간만 보면 어느 부분을 바꿔야 할지 알기 어렵습니다.

말이 끝나기 전에 부분 전사를 넘기고, LLM 답의 첫 문장이 완성되면 TTS를 시작하면 체감 대기를 줄일 수 있습니다. 다만 중간 결과가 바뀔 수 있으므로 명령 실행은 최종 전사나 사용자 확인 뒤에 진행합니다.

로컬 MCP 서버는 실행 계정이 가진 파일과 프로그램 권한을 사용할 수 있습니다. 출처와 코드를 확인하고 필요한 디렉터리만 접근시키며, 공개 네트워크에 노출하는 서버에는 인증을 둡니다.

처음에는 검색과 조회처럼 되돌리기 쉬운 도구만 연결합니다. 파일 삭제, 결제, 외부 메시지 전송은 실행 전 확인을 받고, 요청과 결과를 사용자가 읽을 수 있는 형태로 남깁니다.

‘회의 녹음을 전사하고 오늘 할 일을 읽어 주기’처럼 입력과 출력이 분명한 한 가지 흐름을 정합니다. ASR 정확도, 도구 성공률, 첫 음성 응답시간을 같은 시나리오로 반복 측정합니다.

그 흐름이 안정된 뒤 캘린더, 문서 검색, 홈 자동화처럼 권한이 다른 도구를 하나씩 추가합니다. 기능 수보다 실패했을 때 멈추고 사용자에게 무엇이 안 됐는지 말할 수 있는지가 먼저입니다.