Nemotron 3 Diarization: 회의 녹음에서 누가 말했는지 찾기

가령 세 사람이 녹음한 회의에 ‘초안은 내일 보낼게요’, ‘수치는 제가 확인할게요’라는 말이 이어졌다고 해봅시다. 문장을 정확히 옮겼더라도 담당자가 빠지면 할 일 목록으로 쓰기 어렵습니다. 이때 필요한 것은 더 유창한 요약문보다, 각 문장이 나온 구간과 발화자를 보존하는 일입니다.

여기서 ASR은 ‘무슨 말을 했는가’를, diarization은 ‘어느 화자가 언제 말했는가’를 맡습니다. 두 결과를 맞춰야 화자별 회의록이 됩니다. 그 뒤에 로컬 LLM³으로 결론과 할 일을 정리하더라도, 원문 발언으로 돌아갈 수 있는 타임스탬프는 남겨두는 편이 좋습니다.

2026년 9월 23일 공개된 Nemotron 3 Diarization은 약 100M 파라미터의 오픈웨이트 모델입니다. 녹음 속 목소리에 등장 순서대로 구분표를 붙이고 발화 구간을 출력합니다. speaker_0이 내 동료의 실명이라는 뜻은 아닙니다. 이름을 붙이려면 녹음을 듣거나 회의 참석 정보와 대조하는 과정이 따로 필요합니다.

동시에 두 사람이 말하면 같은 시각에 두 화자를 표시할 수 있습니다. 다만 이것은 겹친 목소리를 각각 깨끗한 음원으로 뽑아내는 source separation과 다릅니다. 겹침을 알아냈다고 그 구간의 모든 단어와 발화자가 자동으로 확정되는 것은 아닙니다. 여덟 명을 넘는 대화 역시 지원 범위 밖으로 봐야 합니다.

화자 구분 모델의 이름만으로 한국어 받아쓰기 품질을 판단할 수는 없습니다. 영어 회의인지, 한국어와 영어 제품명이 섞이는 회의인지, 일본어 인터뷰인지에 따라 문장을 만드는 ASR도 골라야 합니다. Qwen3-ASR·Whisper·Nemotron 3.5처럼 여러 언어를 다루는 모델을 살펴보되, 단어 단위 시간 정보까지 내보낼 수 있는 실행 방식인지 확인하세요.

평가는 짧은 낭독보다 실제 작업과 닮은 대화로 하는 편이 낫습니다. 잠깐 끼어드는 사람, 멀리 앉은 사람, 긴 침묵 뒤에 다시 말하는 사람을 포함해보세요. 확인할 것은 세 가지입니다. 문장이 맞는지, 화자 번호가 바뀌지 않는지, 겹친 구간을 놓치지 않는지입니다. 한 점수로 합치면 어느 부분을 고쳐야 할지 오히려 흐려집니다.

NVIDIA의 NeMo Python 경로는 Linux와 NVIDIA GPU⁴를 중심으로 안내됩니다. 그렇다고 모델을 NVIDIA 카드에서만 쓸 수 있다는 뜻은 아닙니다.

같은 회사의 NeMo-Speech.cpp는 네이티브 C++ 실행 프로그램⁵이며 Apple Silicon의 Metal, CPU⁶, CUDA⁷ 등의 경로를 제공합니다. 설치한 빌드가 무엇을 지원하는지는 doctor 명령으로 먼저 확인합니다.

Mac·iPhone 앱 개발 쪽에는 Nemotron 3 Diarization을 지원하는 Argmax Pro SDK 3도 있습니다. Python 가중치나 C++ CLI⁸와는 별도 제품이므로 배포 조건과 이용 조건을 따로 확인해야 합니다. 어느 경로든 ‘지원한다’는 사실과 ‘내 녹음을 몇 초 만에 처리한다’는 수치는 구분해서 읽으면 됩니다.

NeMo-Speech.cpp의 운영체제별 설치를 마친 뒤 새 터미널에서 아래 명령을 실행합니다. 첫 두 줄은 환경과 모델 목록을 확인하고, pull은 필요한 가중치를 미리 받습니다. 설치 버전마다 기본 모델이 다를 수 있어 예제에서는 Nemotron 3의 별칭을 명시했습니다. 모델 목록에 해당 이름이 없으면 설치 버전을 확인하세요.

meeting.wav에는 사용 권한이 있는 짧은 대화 녹음을 넣습니다. diarize는 화자 구간만, transcribe와 --diar-model의 조합은 ASR 문장에 화자 정보를 붙입니다. 두 작업을 따로 실행해 보면 문장이 틀린 문제와 화자 배정이 틀린 문제를 나눠 찾기 쉽습니다. 여기서는 명령과 공식 모델 목록을 대조했으며, 모든 장비에서 실행 시간을 실측한 예제는 아닙니다.

실시간 모델은 앞으로 들어올 소리를 조금 기다려야 앞뒤 관계를 판단할 수 있습니다. 공개된 0.32·0.64·1.04·30.4초는 이 입력 버퍼의 길이입니다. 녹음 1시간을 30.4초에 끝낸다는 뜻도, 모든 기기에서 0.32초 만에 자막이 나온다는 뜻도 아닙니다. 계산과 ASR, 결과 표시까지의 시간은 추가됩니다.

이미 녹음이 끝난 회의라면 바로 반응해야 할 이유가 적습니다. 먼저 긴 문맥을 사용하는 설정으로 결과를 확인하고, 실시간 표시가 꼭 필요할 때만 지연을 줄여보세요. NeMo Python과 C++의 설정 이름을 서로 그대로 복사하지 말고, 사용 중인 런타임의 프리셋과 도움말을 따릅니다.

발표 당시 VoiceArena 초기 평가에서는 영어 대화 139개, 약 22시간을 대상으로 DER 14.72%를 기록했습니다. 발화 겹침을 포함하고 경계 허용 구간을 두지 않은 조건입니다.

DER는 단어 오타율이 아니라 놓친 발화·잘못 검출한 발화·화자 혼동을 합쳐 보는 지표이므로, ‘받아쓰기 정확도 85.28%’로 바꾸면 안 됩니다. 이 영어 평가만으로 한국어 회의의 오류율을 정할 수도 없습니다.

15,113배라는 처리량⁹도 눈에 띄지만, RTX PRO 5000에서 BF16¹⁰·batch 32·torch.compile을 사용한 조건입니다. 개인 PC에서 파일 하나를 읽는 속도나 ASR까지 포함한 시간이 아닙니다. 따라서 이 숫자를 사이트의 Mac mini나 RTX 4090 속도 체험에 그대로 넣지 않았습니다. 장비를 비교하려면 같은 녹음, 같은 런타임, 같은 배치 크기¹¹부터 맞춰야 합니다.

처음에는 2~5분 정도의 녹음에서 발언 순서를 직접 적어 기준을 만드세요. 전사문과 화자 구간을 나란히 보면서 첫 등장, 끼어들기, 재등장 구간을 확인합니다. 이름이나 담당자가 중요한 문장은 녹음으로 돌아가 확인하고, 잘 구분되지 않은 겹침은 한 사람의 확정 발언으로 바꾸지 않습니다.

장비를 고를 때도 순서는 같습니다. 모델을 불러올 수 있는지, 녹음 길이보다 빠르게 처리하는지, ASR를 함께 켜도 여유가 있는지를 확인합니다. 화자 구분만 필요했던 작업에 대형 LLM까지 늘 켜둘 이유는 없습니다. 필요한 단계만 조합하면 기존 컴퓨터를 더 오래 쓸 수도 있습니다.

로컬 실행이라도 녹음에 대한 동의와 파일 보관 범위는 따로 정해야 합니다. 모델은 OpenMDW 1.1 조건으로 배포되며, 함께 쓰는 앱과 SDK의 조건은 별개입니다. 초기 다운로드와 업데이트에 인터넷이 필요할 수 있으니, 외부 전송을 피해야 하는 환경은 파일 경로와 앱의 동기화 설정도 확인하세요.