SAM Audio로 녹음에서 목소리와 소리 분리하기

SAM Audio는 음원 분리 모델이에요. 회의 녹음에서 특정 화자의 말소리, 배경 음악, 경적처럼 원하는 소리를 자연어 설명으로 지정하거나 시간 구간·영상 단서를 사용해 분리할 수 있어요. 입력 믹스와 지정한 목표를 바탕으로 대상 신호와 나머지 신호를 출력합니다. Meta SAM Audio 소개 · 공식 저장소

Python 3.11 이상과 CUDA 호환 GPU를 준비하고 공식 저장소를 설치하세요. 먼저 Hugging Face의 SAM Audio 모델 카드에서 체크포인트 접근을 신청해 승인받아야 합니다. 저장소를 복제한 뒤 meeting.wav를 저장소 루트에 두고 Hugging Face CLI⁴로 로그인하세요.

git clone https://github.com/facebookresearch/sam-audio.git
cd sam-audio
python -m pip install .

python -m pip install "huggingface_hub[cli]"
hf auth login
# Enter the token in the interactive prompt
cp /path/to/meeting.wav ./meeting.wav

아래 코드를 separate.py로 저장해 실행하면 요청한 말소리가 target.wav, 나머지 소리가 residual.wav로 저장됩니다. meeting.wav는 저장소 루트에 두고, 출력은 processor가 지정한 샘플레이트로 기록해요.

from sam_audio import SAMAudio, SAMAudioProcessor
import torchaudio
import torch

checkpoint = "facebook/sam-audio-large"
model = SAMAudio.from_pretrained(checkpoint).eval().cuda()
processor = SAMAudioProcessor.from_pretrained(checkpoint)
batch = processor(audios=["meeting.wav"], descriptions=["speech"]).to("cuda")
with torch.inference_mode():
    result = model.separate(batch, predict_spans=False, reranking_candidates=1)
sample_rate = processor.audio_sampling_rate
torchaudio.save("target.wav", result.target[0].cpu().unsqueeze(0), sample_rate)
torchaudio.save("residual.wav", result.residual[0].cpu().unsqueeze(0), sample_rate)

python separate.py

분리된 대상에 원래 의도한 화자나 효과음만 남는지, 잔여 트랙에 필요한 배경 대화가 빠지지 않았는지 비교해요. 결과는 원본 녹음의 품질과 프롬프트⁵에 따라 달라져요. 필요하면 설명을 one person's speech처럼 더 좁히거나, 대상이 들리는 시간 구간을 지정하는 공식 span 방식으로 다시 실행하세요.

SAM Audio는 말소리, 음악 악기, 효과음과 같은 목표를 자연어·영상·시간 구간으로 지정하는 일반 오디오 분리 도구예요. 스테레오 곡의 보컬 제거가 목표라면 음악 믹스에서 singing voice를 지정해 결과를 직접 확인할 수 있지만, 전용 보컬/반주 모델의 출력과 같은 품질이나 워크플로라고 가정하지 마세요. 원본과 분리 결과의 왜곡, 리버브 흔적, 누락된 악기를 들어봐야 해요.

체크포인트 승인은 모델 파일 접근 권한을 주지만, 녹음 속 목소리를 분리하거나 공유할 권리까지 정하지는 않아요. 회의·상담 녹음은 참석자에게 알리고 조직의 보관 정책에 따라 처리하세요.