에이전트와 자동화

최종 업데이트

로컬 LLM에게 집을 맡겨도 될까: 노출 범위와 안전 경계

모델이 똑똑한지보다, 어떤 기기를 보여 줬는지가 안전을 정해요.

로컬 LLM1은 문장을 해석해 기기 조작을 시도하지만, 실제 실행은 홈 어시스턴트의 Assist API2가 맡아요. 그래서 안전을 정하는 것은 노출 목록과 자동화 조건이에요. 위험한 기기를 빼고, 되돌릴 수 있는 동작부터 넣는 순서를 담았어요.

실행 조건과 핵심 내용
  • 실행 권한은 노출 목록이 정하고, 모델은 그 안에서만 고를 수 있어요.
  • 잠금·차고문·난방처럼 잘못 실행되면 위험한 기기는 빼세요.
  • 되돌릴 수 있는 조명·스위치부터 넣고, 센서는 읽기 전용으로 두세요.

모델은 제안하고, 실행은 홈 어시스턴트가 해요

대화 모델은 문장을 읽고 어떤 기기를 어떻게 할지 정해요. 하지만 그 결정이 그대로 스위치를 누르지는 않아요. 홈 어시스턴트가 Assist API를 통해 노출된 엔티티만 실행해요.

그래서 모델을 바꿔도 위험 범위는 그대로예요. 반대로 노출 목록을 넓히면 모델이 약해도 위험이 커져요. 안전을 조절하는 손잡이는 모델이 아니라 목록이에요.

모니터의 파형과 문서가 자물쇠가 달린 본체로 들어가고, 구름으로 향하는 점선에는 X 표시가 있는 그림
모델이 고를 수 있는 기기는 노출 목록 안으로 제한돼요.

빼야 할 기기와 남겨도 되는 기기

잠금, 차고문, 난방기, 환풍기처럼 잘못 실행되면 사람이 다치거나 재산 피해가 나는 기기는 노출 목록에서 빼세요. 센서는 값을 읽기만 하므로 먼저 노출해도 위험이 적어요.

조명과 스위치는 잘못 켜져도 다시 끄면 그만이에요. 처음에는 방 하나의 조명만 넣고, 말이 잘 통하면 방을 늘리는 식으로 범위를 넓히세요.

되돌릴 수 있는 동작부터

문을 잠그는 일과 조명을 켜는 일은 실패했을 때의 결과가 달라요. 전자는 되돌리려면 열쇠나 비밀번호가 필요하지만, 후자는 한 번 더 말하면 돼요.

자동화로 한 단계 더 감싸는 방법도 있어요. 모델이 '밤에 모두 끄기'를 실행하면, 자동화가 정해진 기기만 끄고 나머지는 건드리지 않게 하면 범위를 좁힐 수 있어요.

투명한 상자 안의 로봇 옆에 공유기와 보관함, 문서가 놓여 있다
잠금과 차고문은 목록에서 빼고, 조명부터 시작하세요.

집 밖으로 나가는 경로를 막아요

로컬 모델을 쓰면 질문이 밖으로 나가지 않아요. 반대로 외부 API 모델을 고르면 문장과 기기 상태가 그 서버로 전송돼요. 어느 쪽을 쓰는지 설정에서 확인하세요.

Wyoming3으로 붙은 음성 서비스에는 인증이 없어요. 신뢰할 수 있는 집 안 네트워크에만 두고, 공유기에서 외부로 포트를 열지 마세요.

실패했을 때의 기본값을 정해요

모델이 엉뚱한 답을 하거나 응답하지 않을 때를 대비해, 중요한 동작은 문장 트리거로 따로 만들어 두세요. 모델이 꺼져도 조명을 끄는 일은 그대로 동작해요.

실행 기록을 남겨 두면 나중에 원인을 찾기 쉬워요. 어떤 문장이 어떤 기기를 움직였는지 로그에서 확인하고, 이상한 동작이 반복되면 그 기기를 목록에서 빼세요.

노트북 앞 작업자 주변에 문서, 표, 폴더, 이미지, 설정 창과 작은 로봇이 연결돼 있다
중요한 동작은 모델 없이도 돌아가게 따로 만들어 두세요.

용어 각주

  1. 대규모 언어 모델 — 대규모 텍스트 데이터에서 언어 패턴을 학습해 문맥에 맞는 텍스트를 처리하고 생성하는 모델입니다.

    본문으로 돌아가기
  2. API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.

    본문으로 돌아가기
  3. Wyoming — 홈 어시스턴트와 음성 서비스가 오디오와 텍스트를 주고받는 프로토콜입니다. 인증과 암호화가 없어 신뢰할 수 있는 네트워크에서만 씁니다.

    본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?
로컬 LLM은 문장을 해석해 기기 조작을 시도하지만, 실제 실행은 홈 어시스턴트의 Assist API가 맡아요. 그래서 안전을 정하는 것은 노출 목록과 자동화 조건이에요. 위험한 기기를 빼고, 되돌릴 수 있는 동작부터 넣는 순서를 담았어요.