AMD 라데온으로 집에서 실시간 음성 비서: Ming Voice의 20GB VRAM 조건

Ming Voice는 마이크에 대고 말하면 음성으로 답하는 프로그램이에요. 별도의 음성인식·언어모델·음성합성을 이어 붙이지 않고, 음성을 입력받아 음성으로 내놓는 Ming-3.0-audio-tiny 모델 하나를 GPU³에 올려 대화를 처리해요.

말이 끝났는지는 Smart Turn v3가 억양과 내용으로 판단해요. 답변이 시작된 뒤에도 말을 이어가면 그 답을 취소하고 한 턴으로 다시 처리해요. 스피커로 들으면서 끼어들어도 자기 목소리는 걸러내요.

모델은 전체 9.3B 중 2.7B만 활성화되는 MoE 구조예요. 그래도 bf16 가중치는 20.5GB를 차지해 24GB 카드가 필요해요. 카드 메모리가 23GB 미만이면 전문가 레이어를 int8로 올려 12.5GB로 줄여요.

12GB 카드나 노트북 내장 그래픽에서는 모델이 올라가지 않아요. 지원 대상은 라데온 RX 6800 이후와 RTX 30 시리즈 이후예요. 16GB로 줄이면 화면·드라이버·다른 앱이 쓰는 VRAM⁴을 빼고 나면 여유가 크지 않으니, 게임이나 영상 편집과 동시에 쓰기는 어려워요.

리눅스에서는 설치 스크립트를 한 줄로 실행해요. 스크립트가 파이썬과 파이토치를 카드에 맞춰 설치하고 모델 20GB를 내려받아요. ROCm⁵은 따로 설치하지 않아도 파이토치가 7.2를 함께 가져와요. 윈도우는 PowerShell에서 설치 스크립트를 실행하면 WSL2까지 준비돼요.

모델 가중치를 약 20GB 내려받고, 설치와 캐시까지 30GB 남짓의 디스크를 써요. 설치 뒤 첫 실행은 커널 컴파일 때문에 1~2분 걸리고, 그 다음부터는 모델을 올리는 데 30초 안팎이에요. 그 뒤로는 브라우저에서 대화를 시작할 수 있어요.

제작자가 라데온 7900 XTX 24GB에서 잰 값이에요. 말이 끝난 뒤 첫 소리가 나올 때까지 중앙값 0.23초였어요. 답변은 말이 끝나기 직전 0.2초 남짓의 멈춤 구간에서 미리 만들어지고, 그 구간이 끝나면 바로 재생돼요.

16GB 카드의 int8 경로에서는 이 수치를 그대로 기대하기 어려워요. 정밀도를 낮추면 계산이 가벼워지지만, 카드 세대와 드라이버에 따라 편차가 커요. 자기 환경에서 첫 소리까지의 시간을 직접 재고, 1초가 넘으면 답변 길이를 줄이는 편이 좋아요.

Home Assistant를 연결하면 불과 플러그, 음악, 공조 기기를 말로 제어해요. "거실 조명 꺼" 같은 명령은 모델을 거치지 않고 바로 실행되고, 시간을 붙인 예약도 처리해요. 젤리핀 재생도 같은 방식으로 붙어요.

다른 앱에서 쓰려면 OpenAI 호환 API⁶나 Wyoming⁷ 브리지를 써요. 도구를 켜 두면 검색어와 장소 이름만 외부로 나가고, 도구를 끄면 완전히 오프라인으로 돌아요. 음성 자체는 어느 경우에도 밖으로 나가지 않아요.

애플 실리콘은 지원하지 않아요. 커널이 Triton과 ROCm, CUDA⁸를 전제로 만들어져 맥의 메탈 경로로는 올라가지 않아요. 맥에서 음성 비서를 만들려면 MLX⁹로 옮긴 다른 모델을 골라야 해요.

지원 언어는 영어와 중국어예요. 한국어로 쓰려면 모델 자체를 바꿔야 하고, 코드는 MIT라 수정과 재배포는 자유로워요. 모델을 켜 둔 동안 VRAM을 계속 쓰기 때문에, 같은 GPU로 다른 작업을 같이 하기는 어려워요.