Fish Audio Drama 3로 두 화자의 대사를 한 WAV로 만들기

Fish Audio Drama 3는 대본을 음성으로 바꾸는 다중 화자 TTS 모델이에요. 대본에 화자 태그와 대사를 넣고, 각 화자의 참조 음성 파일과 실제 발화 내용의 전사를 함께 주면 여러 목소리가 등장하는 WAV 한 개를 만들 수 있어요. 대화 장면이나 긴 낭독처럼 화자 전환이 이어지는 작업에 맞아요. Drama 3 모델 카드

Drama 3는 총 35B 파라미터 중 토큰⁴을 만들 때마다 3B를 활성화하는 MoE⁵ 모델이에요. 모델 카드에는 83개 언어가 표시되고, 대본에는 speaker 0부터 15까지 최대 16개 화자를 지정할 수 있어요. 화자 번호는 대사마다 반복해 적어 같은 인물이 다시 말할 때도 목소리를 이어 줍니다.

태그는 대사를 누가 읽는지 나누고, 대괄호 안의 짧은 지시는 특정 순간의 표현을 알려 줘요. 예를 들어 모델 카드에는 [sighs], [laughs] 같은 위치 지정 태그가 나옵니다. 지시를 넣은 구간을 생성해 실제로 원하는 말투가 들리는지 확인하세요.

Fish Audio의 현재 설치 안내는 Drama 3 FP8 실행에 GPU 메모리 48GB 이상을 요구해요. 지원 장비는 NVIDIA GPU뿐이고, 운영체제는 Linux 또는 WSL이에요. CPU⁶, Apple MPS, AMD ROCm⁷과 torch.compile 경로는 지원하지 않으니 Mac이나 CPU에서 쓸 음성 모델을 찾는다면 다른 도구를 고르세요. 공식 설치 요구사항

설치 문서는 S2-Pro에 GPU 메모리 24GB를 안내하고 CPU 또는 NVIDIA GPU 실행을 지원해요. Drama 3 FP8 경로는 NVIDIA GPU 메모리 48GB 이상이 필요해 두 모델은 필요한 하드웨어가 달라요.

공개 측정은 H200 동시 실행 1건 조건이에요. 영어 Seed-TTS 참조 음성을 미리 인코딩해 사용했고, 4회 실행 결과를 집계했어요. 표의 평균 RTF⁸와 TTFA p50은 이 구성에서 나온 값이에요.

Ubuntu 또는 WSL 환경에서 Python 3.12와 NVIDIA 드라이버를 준비하고, 저장소가 안내하는 오디오 시스템 패키지를 설치해요. 아래 명령은 저장소를 내려받고 Python 환경에 CUDA⁹ 12.9용 의존성을 맞춥니다.

sudo apt-get update && sudo apt-get install -y portaudio19-dev libsox-dev ffmpeg
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
uv sync --python 3.12 --extra cu129

uv sync가 끝나면 저장소 폴더 안에서 이어서 작업해요. 작업 폴더가 fish-speech가 아니라면 아래에서 저장소 디렉터리로 이동한 뒤 진행하세요.

Drama 3의 해당 리비전을 저장소 checkpoints/drama-3 폴더에 받아요. 이 리비전에는 실행에 필요한 codec¹⁰.pth도 포함되어 있어 별도 S2-Pro 가중치를 받을 필요가 없어요. 공개 모델이라 로그인 토큰 없이 받을 수 있어요.

uv pip install "huggingface_hub[cli]"
uv run hf download fishaudio/drama-3 --revision e0a9218aa48888270f06ef1ed9ea67622c0e17d2 --local-dir checkpoints/drama-3

두 화자의 참조 음성을 speaker0.wav와 speaker1.wav로 저장해 fish-speech 폴더에 넣어요. 각 파일을 들어 실제로 말한 문장을 그대로 적어 둬요. 녹음은 목소리 당사자에게 사용 허락을 받은 것으로 준비하세요.

모델은 참조 오디오와 전사를 옵션에 쓴 순서대로 짝지어요. speaker0.wav 뒤에 해당 파일의 실제 발화를, speaker1.wav 뒤에 두 번째 파일의 정확한 전사를 둡니다. 아래 문장은 형식을 보여 주는 예시이니, 실행 전에 각 WAV에서 실제로 말한 내용으로 바꿔 주세요. 대본의 speaker 번호도 같은 순서로 맞춰요.

아래 명령은 두 사람의 참조 WAV와 전사를 각각 연결하고, 한 대본에서 화자 태그를 바꾸며 말하게 해요. 각 옵션을 반복하는 형식은 공식 CLI¹¹에서 지원해요. Drama 3 공식 CLI

uv run python fish_speech/models/text2semantic/inference.py \
  --checkpoint-path checkpoints/drama-3 \
  --text "<|speaker:0|>제가 먼저 장면을 설명할게요. [laughs] <|speaker:1|>좋아요. 다음 대사를 이어가죠. [sighs]" \
  --prompt-audio speaker0.wav \
  --prompt-text "오늘은 새 전시를 소개합니다." \
  --prompt-audio speaker1.wav \
  --prompt-text "첫 번째 작품은 창가에 걸려 있어요." \
  --output drama-two-voices.wav \
  --device cuda:0

명령이 끝나면 fish-speech 폴더에 drama-two-voices.wav가 생겨요. 끝까지 들어 두 화자의 목소리가 바뀌는 지점과 각 대사의 발음, 웃음과 한숨이 들어간 위치를 확인해요. 한 화자의 목소리가 어색하면 그 화자의 참조 음성과 전사가 맞는지 먼저 확인하고 다시 생성하세요.

한 GPU 예제는 cuda:0을 선택해요. 여러 GPU는 공식 CLI의 쉼표 구분 장치 목록으로 지정하고, 마지막 GPU에 tower와 codec이 함께 놓이므로 해당 메모리도 확보하세요.

Drama 3에 동봉된 LICENSE는 2026년 10월 13일 갱신된 Fish Audio Community License 1.0이에요. 연구·비상업 사용과 제한된 상업 사용을 허용하며, 상업 사용 기준은 사용자와 계열사의 모든 출처를 합산한 직전 12개월 총매출 50만 달러 미만이에요. 제3자의 내부 업무에 모델을 설치하거나 모델 사본을 전달하면 그 회사도 이 기준을 충족해야 해요. LICENSE 원문

이용자가 직접 음성을 생성하는 셀프서비스 API¹²·웹사이트·앱은 매출이나 목적과 무관하게 별도 서면 라이선스가 필요한 Hosted Service예요. 다만 내가 만들거나 관리하는 콘텐츠·제품의 음성을 제공하거나, 제작자가 직접 생성해 완성 파일만 전달하는 제작 대행은 Hosted Service가 아니에요. 무료·비상업 연구·시연 서비스도 LICENSE의 조건을 충족하면 제외돼요. 모델이나 이를 쓴 제품을 배포할 때는 “Built with Fish Audio” 표시와 LICENSE 사본을 포함하고, 실제 인물의 목소리를 모방하기 전에 동의를 받아요.

2026년 10월 16일 확인: Hugging Face 메타데이터에는 이전 Research License 표기가 남아 있어요. 이 글의 사용 조건은 현재 배포된 LICENSE 본문을 기준으로 정리했어요.