스마트홈에 로컬 AI 붙이기: 음성·대화·영상을 집 안에서 나눠 처리하는 구성

홈 어시스턴트는 조명·센서·공조의 상태를 모으고 자동화를 실행하는 본체예요. 음성으로 말을 걸면 Assist가 웨이크워드 → 받아쓰기 → 기기 명령인지 질문인지 판단 → 소리로 답하기 순서로 일을 넘겨요.

이 네 단계는 한 프로그램이 다 할 필요가 없어요. 받아쓰기와 합성은 Wyoming 프로토콜로 붙은 별도 서비스가 맡고, 판단이 필요한 질문은 Ollama 같은 대화 모델로 넘어가요. 카메라 영상은 Frigate가 따로 받아 사람과 차량을 감지해요.

네 역할을 한 기기에 몰아넣으면 전력과 발열이 커지고, 하나가 느려질 때 전체가 같이 느려져요. 24시간 켜 두는 일과 무거운 계산을 나누는 편이 안정적이에요.

아래 표는 각 역할을 어디에 두면 좋은지 정리한 것이에요. 왼쪽 두 줄만으로도 음성 명령은 동작하고, 대화 모델과 카메라는 필요할 때 붙여요.

말을 마친 뒤 답이 나오기까지는 네 구간이 쌓여요. 웨이크워드 감지, 받아쓰기, 판단과 응답, 합성이에요. 홈 어시스턴트 설명서의 수치로 계산하면 기기에 따라 차이가 크게 벌어져요.

Whisper로 모든 말을 받아쓰면 라즈베리파이 4에서는 전사에 8초 안팎이 걸리고, 인텔 NUC에서는 1초 아래로 끝나요. 여기에 모델 응답 1초와 짧은 답 2초 분량을 만드는 합성 1.2초를 더하면 파이 4는 10초 남짓, NUC는 3초 남짓이에요.

조명을 끄고 켜는 명령만 필요하다면 Speech-to-Phrase가 낫어요. 그린이나 파이 4에서도 1초 아래로 전사가 끝나서, 남는 것은 네트워크와 모델 응답 시간뿐이에요.

홈 어시스턴트의 Ollama 통합은 외부에서 도는 Ollama 서버를 대화 에이전트로 써요. 서버 주소(예: http://192.168.0.20:11434), 모델 이름, 응답 지침을 넣으면 Assist가 그 모델에 질문을 넘겨요.

기기 제어는 실험 기능이에요. Assist API²로 노출한 엔티티만 조작할 수 있으니, 노출 목록에서 잠금·차고문처럼 잘못 실행되면 위험한 기기를 빼고 조명과 스위치부터 시작하세요.

받아쓰기·합성·대화·영상 감지를 모두 집 안에서 돌리면 음성과 영상은 밖으로 나가지 않아요. 대신 홈 어시스턴트 클라우드나 외부 음성 서비스를 켜면 그 구간만 밖으로 나가요.

대화 모델이 외부 서버에 있으면 질문 문장과 기기 상태가 그쪽으로 전송돼요. 로컬 모델을 쓰면 이 전송이 사라지고, 대신 모델을 돌릴 메모리와 전력이 집에 남아요.

1) 홈 어시스턴트를 유선 네트워크에 두고 자동화를 먼저 안정화해요. 2) Assist 파이프라인³을 만들고 휴대폰 앱으로 문장 하나를 시험해요. 3) 받아쓰기·합성 앱을 설치하면 Wyoming 통합이 자동으로 찾아요. 4) Ollama 서버를 켜고 통합에서 주소와 모델을 넣어요. 5) 노출 엔티티를 조명·스위치부터 좁혀요.

각 단계에서 한 번에 하나만 바꾸고, 응답 시간과 오인식 문장을 적어 두면 어디를 손봐야 하는지 보여요. 음성 비서와 카메라 감지는 다음 글에서 각각 더 깊게 다뤄요.

이 시리즈는 역할 분담에서 시작해 음성, 카메라, 대화 모델, 요약과 알림 순서로 이어져요. 열두 편 모두 집 안의 모델이나 감지 프로그램을 직접 다뤄요. 필요한 편만 골라 읽어도 되지만, 처음이라면 위에서부터 두 편씩 묶어 읽는 편이 이해가 빨라요.

각 편은 홈 어시스턴트 2026.10.4와 Frigate 0.18 문서를 기준으로 썼고, 설정 예시에는 실제 키 이름을 그대로 썼어요. 주소와 계정은 집 환경에 맞게 바꿔 쓰세요.