녹음 파일을 외부에 올리지 않고 한국어로 받아쓰기: whisper.cpp 첫 실행

회의 한 시간이 끝나면 요점은 몇 줄일 수 있습니다. 그런데 그 몇 줄이 어디서 나왔는지 찾으려면 녹음을 훑고 되감기를 반복하게 됩니다. 문자 기록을 만드는 이유는 원음을 버리기 위해서가 아니라, 확인할 위치를 빨리 찾기 위해서입니다. 이름, 숫자, 약속 날짜가 중요한 녹음이라면 원본 파일도 보관하세요. 음성 인식 결과는 초안이고, 중요한 문장은 다시 들어 확인해야 합니다. 이 순서를 정해두면 인식률이 조금 높은 모델을 찾는 일보다 실제 검토 시간을 줄이는 일에 집중할 수 있습니다.

whisper.cpp의 모델 목록에는 base와 base.en처럼 비슷한 이름이 함께 있습니다. 뒤에 .en이 붙은 파일은 영어 전용이므로 한국어 녹음에는 base, small, medium처럼 다국어 모델을 고릅니다. 처음에는 small 하나로 평소 녹음의 5분 구간을 시험해보세요. 잘 들리는 말에도 고유명사가 계속 틀린다면 더 큰 다국어 모델을 같은 구간에 적용해 차이를 확인할 수 있습니다. 더 큰 모델은 저장 공간과 실행 메모리를 더 쓰므로, 무조건 큰 파일부터 내려받는 순서는 권하지 않습니다. 다국어 모델을 쓴다고 회의 속 전문 용어가 자동으로 정확해지는 것도 아닙니다.

터미널에서 공식 저장소를 받은 다음 cmake -B build, cmake --build build -j --config Release로 실행 파일을 만듭니다. 다국어 small 모델은 sh ./models/download-ggml-model.sh small로 받습니다. 녹음을 16kHz 모노 16비트 WAV로 준비했다면 ./build/bin/whisper-cli -m models/ggml-small.bin -f recording.wav -l ko -otxt -of transcript로 실행할 수 있습니다. 끝나면 transcript.txt와 원음을 나란히 두고 확인하세요. 이 명령은 공식 CLI의 모델·파일·언어·텍스트 출력 옵션을 조합한 예시입니다. 운영체제마다 빌드 준비물과 실행 파일 위치가 다를 수 있어, 오류가 나면 해당 저장소의 최신 빌드 안내를 먼저 확인합니다.

파일을 읽지 못하는 오류와 한국어를 잘못 듣는 문제는 원인이 다릅니다. 공식 빠른 시작 안내의 whisper-cli 예시는 16비트 WAV 입력을 요구합니다. MP3라면 ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le recording.wav로 바꾼 뒤 시도해보세요. 휴대폰 녹음이라면 확장자만 wav로 바꾸지 말고 실제 음성 형식을 변환해야 합니다. 변환본이 재생되는지 먼저 들어보고, 채널이 한쪽만 녹음된 자료라면 합치는 과정에서 목소리가 사라지지 않았는지도 확인합니다. 처음부터 장시간 파일을 넣기보다 짧은 구간으로 경로를 검증하면 문제를 빨리 찾을 수 있습니다.

처음 나온 문장이 매끈하다고 바로 회의록으로 쓰지 마세요. 잘못 들은 회사명 한 글자나 금액의 단위 하나가 문서 전체의 의미를 바꿀 수 있습니다. 원음에서 이름·숫자·부정 표현이 등장한 부분을 찾아 표시하고, 그 부분만 다시 들으며 고칩니다. 침묵이나 겹쳐 말한 구간에서는 실제 없던 말이 들어가거나 화자가 뒤바뀔 수 있습니다. 텍스트 출력만으로 누가 말했는지 안정적으로 보장할 수 없으므로 발언자 표시는 따로 확인해야 합니다. 납품이나 공유 전에 수정 시간을 포함해 한 파일을 끝내보면, 다음에도 이 방법을 쓸지 판단할 수 있습니다.

Apple Silicon의 whisper.cpp는 Metal 경로를 지원하고, NVIDIA GPU에서는 CUDA 옵션을 켜서 빌드할 수 있습니다. 하지만 장비 이름만으로 녹음 한 시간의 처리 시간을 확정할 수는 없습니다. 모델 크기, 파일 길이, 묵음 비율, 실행 설정이 달라지기 때문입니다. 같은 5분 구간을 같은 모델로 두 번 실행해 두 번째 시간과 수정량을 기록해보세요. 비교 대상이 바뀌면 음성 인식 자체의 시간뿐 아니라 파일 준비와 검토 시간이 함께 바뀌는지도 봐야 합니다. 이미 가진 장비로 주간 처리량을 무리 없이 감당한다면, 텍스트 LLM의 토큰 속도를 이유로 음성용 GPU를 구매할 필요는 없습니다.

매주 쌓이는 파일 때문에 처리가 끝나기를 기다리는 시간이 일을 막고, 더 큰 다국어 모델에서는 확인해야 할 오류가 실제로 줄어든다면 장비 비교가 의미를 갖습니다. 구매 후보를 볼 때는 모델이 들어갈 여유 메모리, 이미 쓰는 앱과의 동시 사용, 저장 공간, 소음과 전력을 함께 적으세요. 일부 녹음만 급하게 처리한다면 먼저 파일을 나눠 필요한 구간부터 받는 방법도 있습니다. 보안을 위해 로컬 실행을 택했다면 저장 폴더의 동기화 설정과 결과 파일을 공유하는 경로도 확인해야 합니다. 새 하드웨어가 처리 시간은 줄여도 잘못 인식한 고유명사를 검수할 책임까지 없애주지는 않습니다.