LocalAI 4.11로 회의 녹음에서 화자 이름과 주변 소리 확인하기

LocalAI 4.11의 diarization¹은 녹음에서 발화의 시작과 끝을 나누고, 목소리마다 SPEAKER_00 같은 임시 표지를 붙여요. ASR²을 함께 쓰면 각 구간에 전사문도 들어가요.

소리 이벤트 분석은 말소리를 받아쓰는 기능과 역할이 달라요. 같은 녹음에서 기침이나 박수처럼 어떤 종류의 소리가 났는지와 그 구간을 찾을 수 있어요. 회의 기록을 검토할 때 말한 사람과 발언 문장뿐 아니라, 발표 중 박수나 주변의 경고음이 있었던 시점을 함께 찾아보는 데 쓸 수 있어요.

화자 이름은 참석자 명단에서 자동으로 가져오지 않아요. 음성 구간을 직접 듣고 이름을 저장해야 다음 녹음에서 같은 목소리에 이름을 표시할 수 있어요. 모델을 처음 설치할 때는 가중치를 내려받을 인터넷 연결이 필요해요.

LocalAI 4.11 이상을 실행하고 웹 화면의 Models → Explore에서 parakeet-cpp-nemotron-3-diarization-asr-speakers를 검색해 설치해요. 이 갤러리 항목은 전사, 화자 구간, 화자 인식에 필요한 모델을 함께 구성해요. 설치 중 문제가 있거나 완료 여부가 불분명하면 Operate → Activity에서 진행 상태와 오류를 먼저 확인해요.

참가자에게 음성 프로필 준비와 등록에 대한 동의를 받은 뒤, Studio → Diarization에서 방금 설치한 모델과 짧은 녹음 구간을 선택해요. 전사문도 읽으려면 첫 시험부터 Prepare speakers to remember를 켜고 Diarize를 눌러요. 이 옵션이 전사문과 화자 프로필을 함께 요청해요. 먼저 익명 화자 표지와 발언 내용을 읽고, 이름 등록은 다음 단계에서 진행해요.

출력이 나오면 발언을 한 문장씩 읽고, 화자 표지가 바뀌거나 말이 겹친 구간을 녹음에서 다시 들어요. 회의록에 담당자나 결정 근거를 기록할 때는 해당 구간을 재생해 표지가 맞는지 확인하고, 애매하면 이름을 붙이지 않은 채 검토 대상으로 남겨요.

앞 단계의 결과가 나오면 Speakers에서 이름을 기억할 사람의 Preview를 재생해요. 본인 목소리가 또렷하게 들리는 구간을 고른 뒤 Name and remember를 선택하고 이름을 입력해 Remember를 눌러요. 서버가 등록을 확인하면 그 사람의 발언 구간에 이름이 표시돼요.

발화가 너무 짧거나 다른 사람과 겹쳐 미리듣기 구간이 깨끗하지 않으면 이름을 저장하기 어려울 수 있어요. 더 오래, 또렷하게 말한 구간이 있는 녹음으로 다시 준비해요. 중요한 발언은 이름이 표시된 뒤에도 녹음과 대조해요.

다음 녹음에서는 같은 음성 인식 지원 모델을 선택해요. 저장한 목소리가 다시 발견되면 익명 표지 대신 저장한 이름을 표시할 수 있어요.

화자 이름을 기억하는 모델과 주변 소리 이벤트까지 함께 돌려주는 모델은 갤러리에서 이름이 달라요. 말한 내용과 기침·박수 같은 이벤트를 한 번에 확인할 때는 parakeet-cpp-multilingual-diarization-speakers-sounds를 설치해요. 이 모델은 전사, 화자 구간, 저장한 목소리 인식, 소리 이벤트를 함께 처리하는 오프라인 녹음용 선택지예요.

LocalAI가 실행 중이고 음향 장면 모델 설치가 끝나면, meeting.wav가 있는 폴더에서 새 터미널을 열어요. 다른 파일을 쓰면 file=@meeting.wav의 이름을 바꿔요. /v1/audio/diarization으로 녹음을 보내면서 include_text, include_speaker_profiles, include_sounds를 켜고 response_format=verbose_json을 지정해요.

curl http://localhost:8080/v1/audio/diarization -F model=parakeet-cpp-multilingual-diarization-speakers-sounds -F file=@meeting.wav -F include_text=true -F include_speaker_profiles=true -F include_sounds=true -F response_format=verbose_json

응답의 segments에는 발화 시간과 전사문이, sounds에는 말 이외 소리의 라벨과 시각이 들어가요. 라벨이 붙은 구간을 녹음에서 다시 들어 보면 회의록에 필요한 사건인지 판단할 수 있어요. 소리 이벤트는 기본 json과 verbose_json에 담을 수 있고, rttm에는 해당 필드가 없어요.

파일을 읽지 못하면 터미널의 현재 폴더와 파일명을 먼저 확인해요. HTTP 501과 include_sounds_unsupported가 나오면 선택한 갤러리 모델이 소리 이벤트를 지원하는지 확인해요. 소리 분석이 필요하면 parakeet-cpp-multilingual-diarization-speakers-sounds를 선택하고, 서버의 모델 적재 오류도 함께 살펴봐요.

저장한 목소리는 현재 서버를 재시작하면 사라져요. 같은 LocalAI 인스턴스를 여러 사람이 쓰면 등록 정보도 공유해요. 운영자와 등록 대상·이용 권한·녹음 보관 정책을 정하고 서버를 사용해요.

Operate → This machine에서는 VRAM³·RAM⁴·CPU⁵와 모델 저장 공간, 실행 중인 모델 프로세스를 확인할 수 있어요. 모델이 목록에 나타나지 않거나 적재 뒤 메모리가 부족하면 이 화면에서 현재 프로세스와 자원 사용을 살펴보세요. 첫 CPU 측정은 계산 자료가 모일 때까지 Measuring…으로 표시될 수 있어요.

Failover는 요청을 설정된 순서와 조건에 따라 다른 모델 대상으로 라우팅해요. 체인에 다른 서버의 LocalAI나 원격 대상을 넣으면 녹음 또는 요청 데이터가 그 대상으로 전송될 수 있어요. 배포 설정에서 대상을 확인하고, 오디오를 외부로 보낼 수 없다면 원격 경로를 제외해요.