OmniVoice로 한국어 음성 만들기: 600개 이상 언어·방언 지원

OmniVoice는 K2-FSA의 0.6B TTS 모델이에요. 모델 카드는 600개가 넘는 언어와 방언을 다룬다고 설명하고, 참조 음성과 전사를 주면 그 목소리로 문장을 읽는 zero-shot 예제를 제공해요. 한국어 문장에서 이름과 숫자 발음을 확인해 보세요. OmniVoice 모델 카드 · 공식 저장소

모델 카드는 NVIDIA GPU²용 CUDA³별 PyTorch⁴ 설치와 Apple Silicon용 표준 PyTorch 설치를 안내해요. 아래 예제는 CUDA 경로예요. 가상환경⁵에 패키지를 설치하고 짧은 한국어 참조 음성과 그 전사를 ref.wav, ref.txt로 준비하세요.

python -m pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
python -m pip install omnivoice soundfile

아래 코드를 generate.py로 저장해 실행하면 korean.wav가 현재 폴더에 생겨요. 예제는 지정한 한국어 문장을 ref.wav의 목소리와 발화 스타일로 합성합니다. 본인 음성이나 명시적으로 허락받은 참조 음성을 사용하세요.

from omnivoice import OmniVoice
import soundfile as sf
import torch

model = OmniVoice.from_pretrained("k2-fsa/OmniVoice", device_map="cuda:0", dtype=torch.float16)
with open("ref.txt", encoding="utf-8") as f:
    ref_text = f.read().strip()
audio = model.generate(text="오늘 회의는 오후 두 시에 시작합니다.", ref_audio="ref.wav", ref_text=ref_text)
sf.write("korean.wav", audio[0], 24000)

python generate.py

OmniVoice 코드에는 Apache 2.0, 사전학습 가중치에는 CC-BY-NC가 적용돼요. CC-BY-NC는 비상업 조건이므로 상업용 앱이나 서비스에 사전학습 가중치를 넣지 마세요. 오픈소스 코드 라이선스만 보고 모델 전체가 상업적으로 자유롭다고 판단하면 안 돼요. 가중치 라이선스와 모델 카드

짧은 테스트가 끝나면 실제 배포할 문장 길이로 새 오디오를 생성하고 전체 파일을 들어보세요. 숫자 읽기와 발음은 물론, 배경음에 섞을 때 음량이나 문장 간 간격이 맞는지도 확인합니다. 로컬에서 만든 음성이라도 사용자의 개인정보, 합성 음성 고지, 음성 권리와 서비스 규정은 별도로 지켜야 해요.

코드 라이선스만 보고 상업적으로 배포하지 마세요. 사전학습 가중치의 조건이 코드와 다르므로, 제품에 포함하기 전에 가중치 사용 범위를 따로 확인해요.