Fish Audio Drama 3 int4: 41.5GB를 22GB로 줄여 한 장에

Fish Audio Drama 3는 35B 가운데 3B만 계산하는 다화자 음성 합성³ 모델이에요. 원본은 bf16⁴ 기준 41.5GB라 24GB 카드 한 장에는 들어가지 않아요. 이 체크포인트는 그 가중치를 4비트로 접어 22.1GB로 만든 비공식 양자화⁵본이에요.

무엇을 접었는지가 중요해요. 라우팅되는 전문가와 일부 어텐션⁶ 투영만 int4로 내리고, 모든 토큰⁷이 거쳐 가는 공유 전문가와 소리를 만드는 오디오 디코더는 bf16으로 남겼어요. 그래서 이름에 W4A16 하이브리드가 붙어요.

라이선스는 Fish Audio 커뮤니티 라이선스예요. 상업적으로 쓰기 전에 조건을 직접 확인해야 해요.

가중치가 20.8GB여도 서빙 메모리는 그보다 훨씬 커요. 24GB 카드를 고르면 실행 직전에 막혀요. A100 80GB에서 잰 기록을 보면 시작 시점에 이미 57.3GB를 쓰고, 다섯 번 생성하는 동안 피크가 57.9GB였어요.

나머지는 KV 캐시⁸와 엔진 몫이에요. 문장이 길고 화자가 많을수록 캐시가 커져서, 가중치만 보고 정한 여유는 금방 사라져요.

Ampere 이상이 필요해요. 4비트 커널이 GPTQ-Marlin을 쓰기 때문이에요. Turing 세대나 그 이전 카드에서는 이 경로가 열리지 않아요.

런타임⁹은 SGLang Omni예요. 저장소를 받아 파이썬 3.12 가상환경¹⁰을 만들고, 프리릴리스를 허용해 fishaudio 확장을 설치해요.

체크포인트를 내려받은 뒤에는 원본과 같은 sgl-omni serve 명령을 써요. 양자화 정보를 체크포인트가 들고 있어서 로더를 따로 고치지 않아도 돼요.

git clone https://github.com/sgl-project/sglang-omni.git
cd sglang-omni
uv venv -p 3.12 .venv && . .venv/bin/activate
uv pip install --prerelease=allow -e ".[fishaudio]"
hf download akhaliq/drama-3-int4

sgl-omni serve \
  --model-path akhaliq/drama-3-int4 \
  --port 8000

API¹¹도 그대로예요. /v1/audio/speech에 input을 넣고, references로 참조 음성을 붙이고, [sighs]나 [laughs] 태그와 다화자 장면, previous_takes 편집까지 원본과 같게 동작해요.

curl -s localhost:8000/v1/audio/speech \
  -H 'content-type: application/json' \
  -d '{"input":"오늘 회의는 여기까지입니다. [sighs] 정리해 둘게요.",
       "references":[{"audio":"ref.wav","text":"참조 음성 대본"}]}' \
  --output out.wav

Seed-TTS English 1,088개 프롬프트¹²를 H200 한 대에서 concurrency 8, 비스트리밍으로 돌린 기록이에요. WER은 생성된 음성을 Qwen3-ASR-1.7B로 받아써서 쟀어요.

지연은 요청당 8%쯤 늘고 처리량¹³은 6.47에서 5.99로 줄었어요. 반면 WER은 1.63%로 원본보다 낮게 나왔어요.

이 차이를 품질 차이로 읽으면 안 돼요. 같은 FP8 체크포인트를 다시 돌렸을 때도 1.365초와 2.02%가 나왔거든요. 실행마다 흔들리는 폭이 두 체크포인트의 차이와 비슷해요.

같은 8개 프롬프트를 A100에서 돌린 비교도 공개돼 있어요. 32GB 카드를 겨냥한 int8 dense 양자화와 나란히 놨어요.

긴 문단에서 상대 체크포인트는 문장을 지어내며 WER 0.667이 나왔고, 이쪽은 0.028이었어요. 화자 유사도는 0.846으로 같았어요.

중국어 프롬프트는 둘 다 1.0인데 전사 내용은 거의 같았어요. 띄어쓰기 없는 중국어를 나누는 과정에서 생긴 측정 문제라 모델 차이로 보면 안 돼요.

이 표와 위의 Seed-TTS 표를 나란히 놓고 비교하면 안 돼요. 데이터셋도 전사 모델도 달라요.

메모리가 먼저면 int4예요. 가중치가 22GB라 24GB나 32GB 카드에서 선택지가 생겨요.

지연이 먼저면 원본 FP8이에요. 요청당 8% 차이는 실시간 대화처럼 촘촘한 자리에서 체감돼요.

둘 다 프리릴리스 위에 있어요. sglang-omni는 버전이 빠르게 바뀌어서 설치 명령과 지원 GPU¹⁴가 릴리스마다 달라질 수 있어요. 운영에 넣기 전에 같은 문장으로 한 번 들어 보고 정하세요.