필요한 메모리는 어느 정도인가요?

공식 설치 안내는 Python 3.12, uv, NVIDIA CUDA 12.9 경로를 제공합니다. Linux·WSL에서 CUDA 호환 드라이버와 24GB VRAM GPU를 준비하고 시스템 오디오 패키지, CUDA 의존성, S2 Pro 체크포인트를 설치하세요.

로컬 음성 인식·합성

최종 업데이트 2026-10-30

Fish Audio S2 Pro로 표현을 살린 음성 합성

대사 태그로 말투를 조정할 수 있지만, 가중치는 연구·비상업 조건이에요.

Fish Audio S2 Pro는 텍스트와 화자 정보를 음성으로 바꾸는 모델이에요. 모델 카드의 83개 언어 지원과 세밀한 표현 태그를 바탕으로 대사 스타일을 지정할 수 있어요. 라이선스는 fish-audio-research-license로 연구·비상업 이용 제한을 포함하므로 상업 작업에 쓰지 마세요.

실행 조건과 핵심 내용

83개 언어와 대사 표현 태그를 모델 카드가 안내해요.
입력 대사에 태그를 넣어 말투를 지정할 수 있어요.
가중치는 연구·비상업 라이선스예요.

대사 텍스트에 표현을 넣어 음성을 만들어요

Fish Audio S2 Pro는 음성 생성 모델이에요. 문장과 화자 정보를 입력해 말소리를 만들고, 모델 카드가 안내하는 표현 태그로 웃음이나 감정·전달 방식을 대사에 표시할 수 있어요. 태그가 포함된 문장은 그대로 읽히는 대본이 아니라 모델 입력 형식이므로, 결과에서 말투가 어떻게 구현됐는지 들어봐야 해요. 공식 모델 카드

펼쳐진 책과 작은 컴퓨터, 스피커가 놓인 책상 — 같은 대사에 표현 태그를 붙여 말투를 시험해요.

Linux·WSL에서 CUDA 환경과 S2 Pro 자산을 준비해요

공식 설치 안내는 Python 3.12, uv, NVIDIA CUDA¹ 12.9 경로를 제공합니다. Linux·WSL에서 CUDA 호환 드라이버와 24GB VRAM² GPU³를 준비하고 시스템 오디오 패키지, CUDA 의존성, S2 Pro 체크포인트⁴를 설치하세요.

CUDA 의존성과 S2 Pro 모델 설치

sudo apt-get update && sudo apt-get install -y portaudio19-dev libsox-dev ffmpeg
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
uv sync --python 3.12 --extra cu129
uv run hf download fishaudio/s2-pro --local-dir checkpoints/s2-pro

태그는 한 번에 하나씩 바꿔 비교해요

reference.wav를 저장소 루트에 두고 참조 토큰⁵을 만든 뒤, 참조 음성의 전사와 합성할 대사를 입력해 생성 토큰을 만듭니다. 각 태그 결과를 별도 폴더에 두고 WAV로 디코딩하면 두 파일을 나란히 들을 수 있어요.

참조 음성 인코딩

uv run python fish_speech/models/dac/inference.py -i reference.wav --checkpoint-path checkpoints/s2-pro/codec.pth
# Creates fake.npy and fake.wav

표현 태그 한 가지씩 비교

uv run python fish_speech/models/text2semantic/inference.py --text "[whisper] 오늘 회의는 오후 두 시에 시작합니다." --prompt-text "참조 음성의 정확한 문장" --prompt-tokens fake.npy --output-dir output-whisper
uv run python fish_speech/models/text2semantic/inference.py --text "[excited] 오늘 회의는 오후 두 시에 시작합니다." --prompt-text "참조 음성의 정확한 문장" --prompt-tokens fake.npy --output-dir output-excited

생성 토큰을 WAV로 디코딩

uv run python fish_speech/models/dac/inference.py -i output-whisper/codes_0.npy --checkpoint-path checkpoints/s2-pro/codec.pth -o whisper.wav
uv run python fish_speech/models/dac/inference.py -i output-excited/codes_0.npy --checkpoint-path checkpoints/s2-pro/codec.pth -o excited.wav

마이크와 헤드폰, 파형이 표시된 모니터가 있는 작업대 — 합성 파일을 들어 대사와 쉼표가 의도대로 들리는지 확인해요.

연구·비상업 라이선스 범위를 지켜요

fish-audio-research-license는 연구·비상업적 이용을 허용하고 상업 사용에는 Fish Audio의 별도 허가가 필요해요. 공개 콘텐츠나 유료 서비스에 넣기 전 라이선스와 입력 음성의 권리를 확인하세요.

최종 파일을 끝까지 들어보고 손봐요

샘플 문장이 만족스러우면 실제 분량을 생성해 처음부터 끝까지 들어보세요. 고유명사, 숫자, 대화 간 간격, 감정 태그가 필요한 장면을 확인해요. 편집 도구에서 음량을 고르게 맞추고 자막과 장면 전환을 붙이면 최종 영상에 사용할 수 있어요.

짧은 안내 음성 몇 개만 필요하다면 이 모델을 먼저 고를 이유가 없어요. 여러 언어와 긴 문장을 한 번에 만들어야 할 때 비교해 보세요.

헤드폰과 오디오 플레이어, 펼쳐진 노트가 놓인 책상 — 사용 전에 연구·비상업 라이선스를 확인해요.

용어 각주

CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기
VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: Fish Audio S2 Pro는 텍스트와 화자 정보를 음성으로 바꾸는 모델이에요. 모델 카드의 83개 언어 지원과 세밀한 표현 태그를 바탕으로 대사 스타일을 지정할 수 있어요. 라이선스는 fish-audio-research-license로 연구·비상업 이용 제한을 포함하므로 상업 작업에 쓰지 마세요.
필요한 메모리는 어느 정도인가요?: 공식 설치 안내는 Python 3.12, uv, NVIDIA CUDA 12.9 경로를 제공합니다. Linux·WSL에서 CUDA 호환 드라이버와 24GB VRAM GPU를 준비하고 시스템 오디오 패키지, CUDA 의존성, S2 Pro 체크포인트를 설치하세요.
조건과 출처는 어디서 확인하나요?: Fish Audio S2 Pro는 음성 생성 모델이에요. 문장과 화자 정보를 입력해 말소리를 만들고, 모델 카드가 안내하는 표현 태그로 웃음이나 감정·전달 방식을 대사에 표시할 수 있어요. 태그가 포함된 문장은 그대로 읽히는 대본이 아니라 모델 입력 형식이므로, 결과에서 말투가 어떻게 구현됐는지 들어봐야 해요. [공식 모델 카드](https://huggingface.co/fishaudio/s2-pro)