로컬 음성 인식·합성
최종 업데이트
맥에서 한국어 녹음 받아쓰기, WhisperKit으로 시작하려면?
녹음을 글로 바꾼 뒤, 요약은 익숙한 로컬 LLM에 맡겨요.
WhisperKit은 Whisper 음성인식 모델을 Apple 기기에서 Core ML1로 실행하는 도구예요. 한국어 녹음에는 다국어 모델을 고르고, 음성 파일을 넣어 받아쓴 글을 얻을 수 있어요. 명령줄에서 한 파일을 처리한 뒤 긴 녹음과 마이크 입력으로 범위를 넓혀보세요.
아래 예제는 Apple Silicon Mac에서 명령줄로 음성 파일 하나를 처리하는 경로예요. 짧고 내용이 분명한 한국어 녹음을 준비하면 처음 출력이 맞는지 확인하기 쉬워요. 다른 사람의 녹음은 동의를 받은 파일을 사용하세요. WhisperKit
설치 환경과 녹음 파일을 준비해요
macOS 14 이상과 Xcode 16 이상을 준비하세요. 최신 소스를 빌드할 때는 저장소의 Package.swift가 요구하는 Swift 도구 버전도 맞춰야 해요. Xcode를 설치한 뒤 xcodebuild -version과 swift --version으로 현재 선택된 도구를 확인해요.
아래 명령으로 소스를 받은 뒤, 짧은 WAV 녹음을 argmax-oss-swift 폴더에 meeting.wav로 넣으세요. MP3·M4A·FLAC 파일도 입력할 수 있어요. 다른 파일을 쓸 때는 이어지는 명령의 --audio-path를 실제 파일 이름으로 바꿔 주세요. 실행 전에 녹음이 정상 재생되는지도 확인해요.
git clone --depth 1 https://github.com/argmaxinc/argmax-oss-swift.git
cd argmax-oss-swift
xcodebuild -version
swift --version
swift run argmax-cli transcribe --help
Apple 기기에서는 선택한 앱의 실행 백엔드를 확인해요
WhisperKit은 Apple Silicon에서 Whisper 모델을 Core ML로 변환해 실행하는 Swift 구현이에요. WhisperKit을 선택한 앱은 이 경로로 전사해요. FluidAudio는 별도의 Swift SDK로 Parakeet 기반 전사와 화자 분리2를 제공하고, README에서 ANE3 경로를 설명해요.
사용할 모델과 앱에서 한국어 지원, 화자 분리, 입력 파일 형식을 확인해요. WhisperKit · FluidAudio
다국어 모델로 첫 받아쓰기를 실행해요
첫 실행은 large-v3-v20240930_626MB 모델로 시작할 수 있어요. 필요한 모델 파일을 받는 동안 네트워크와 저장 공간이 필요하고, 첫 준비가 끝나면 음성 파일을 처리해요. 터미널에 녹음에서 말한 내용이 나타나는지 확인하세요. 모델 선택·CLI
swift run argmax-cli transcribe \
--model large-v3-v20240930_626MB \
--audio-path ./meeting.wav한국어 녹음에는 base.en·small.en처럼 영어 전용인 모델보다 다국어 모델을 고르세요. 작동 확인을 빨리 마치려면 tiny를 시험할 수 있고, 실제 회의록 품질은 사용할 다국어 모델로 다시 판단하면 돼요. 사람 이름과 제품명, 숫자가 맞게 적혔는지 원음과 대조해요.
긴 녹음은 나눠 읽고, 마이크 입력은 따로 시험해요
긴 녹음을 한 번에 메모리에 읽는 부담을 줄이려면 --incremental-loading을 추가하세요. 파일을 작은 구간으로 읽으면서 처리하는 기능이에요. 동일한 파일을 기본 실행과 이 설정으로 각각 처리해 완료 시간, 메모리 압력, 받아쓴 결과를 비교하면 돼요.
swift run argmax-cli transcribe \
--model large-v3-v20240930_626MB \
--audio-path ./meeting.wav \
--incremental-loading마이크 입력은 파일 경로 대신 --stream을 사용해 시험할 수 있어요. macOS가 마이크 권한을 요청하면 실행 앱에 허용하세요. 파일 받아쓰기가 성공한 뒤 마이크를 연결하면, 모델 문제와 입력 기기 문제를 나눠 점검하기 쉬워요.
swift run argmax-cli transcribe \
--model large-v3-v20240930_626MB \
--stream
뉴럴엔진 활용과 받아쓰기 품질을 함께 확인해요
받아쓰기가 정상적으로 끝났다면 사용한 Core ML 모델의 연산 배치도 확인해 보세요. 같은 Mac의 Xcode Performance 보고서에서 CPU4·GPU5·ANE가 각각 어떤 계산을 맡았는지 알 수 있어요. 모델 파일을 열어 확인하는 순서는 뉴럴엔진 실행 확인 가이드를 따라가면 돼요.
받아쓰기 시간은 모델을 받은 첫 실행과 준비를 마친 다음 실행을 나눠 적으세요. 속도가 충분해도 중요한 이름이나 금액을 놓치면 다시 듣는 시간이 늘어나요. 요약하기 전에 원음과 대조해 수정하고, 그 글을 LLM6에 보내면 잘못 받아쓴 내용이 요약까지 이어지는 일을 줄일 수 있어요.
처음 실행이 멈추면 여기부터 살펴보세요
Swift 빌드 오류라면 출력의 첫 오류와 swift --version을 확인하세요. 모델 다운로드 단계에서 멈췄다면 네트워크와 디스크 여유를, 파일을 열지 못하면 현재 폴더와 meeting.wav의 실제 위치를 확인해요. 받아쓴 글이 비어 있다면 녹음이 정상 재생되는지와 모델 선택을 먼저 점검해요.
정상 출력이 나오면 같은 짧은 녹음을 한 번 더 실행해요. 이 상태를 기준으로 긴 파일, 마이크, 요약 연결을 하나씩 추가하세요. 여러 기능을 한꺼번에 켜는 것보다 어디서 기다리는지 알기 쉽고, 현재 Mac으로 충분한지도 구체적으로 판단할 수 있어요.

용어 각주
Core ML — Apple 기기에서 머신러닝 모델을 실행하는 프레임워크입니다.
본문으로 돌아가기화자 분리 — 녹음에서 누가 언제 말했는지 구간을 나누고 화자별로 표시하는 작업입니다.
본문으로 돌아가기뉴럴엔진 — Apple Silicon에 들어 있는 신경망 계산 전용 장치입니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기대규모 언어 모델 — 대규모 텍스트 데이터에서 언어 패턴을 학습해 문맥에 맞는 텍스트를 처리하고 생성하는 모델입니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- WhisperKit은 Whisper 음성인식 모델을 Apple 기기에서 Core ML로 실행하는 도구예요. 한국어 녹음에는 다국어 모델을 고르고, 음성 파일을 넣어 받아쓴 글을 얻을 수 있어요. 명령줄에서 한 파일을 처리한 뒤 긴 녹음과 마이크 입력으로 범위를 넓혀보세요.
