OmniVoiceで韓国語音声を作る：600以上の言語・方言に対応

OmniVoiceはK2-FSAの0.6B TTSモデルです。モデルカードは600を超える言語・方言を説明し、参照音声と書き起こしの声で文を読むzero-shot例を掲載しています。韓国語文で名前や数字の発音を確認してください。OmniVoiceモデルカード・公式リポジトリ

モデルカードはNVIDIA GPU²向けのCUDA³別PyTorch⁴とApple Silicon向けの標準PyTorchを案内しています。以下はCUDA経路の例です。仮想環境⁵にパッケージを入れ、短い韓国語参照音声と書き起こしをref.wav、ref.txtとして用意してください。

python -m pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
python -m pip install omnivoice soundfile

以下のコードをgenerate.pyとして保存して実行すると、現在のフォルダーにkorean.wavができます。韓国語文をref.wavの声と話し方で合成します。自分の声、または使用許可を得た参照音声を使ってください。

from omnivoice import OmniVoice
import soundfile as sf
import torch

model = OmniVoice.from_pretrained("k2-fsa/OmniVoice", device_map="cuda:0", dtype=torch.float16)
with open("ref.txt", encoding="utf-8") as f:
    ref_text = f.read().strip()
audio = model.generate(text="오늘 회의는 오후 두 시에 시작합니다.", ref_audio="ref.wav", ref_text=ref_text)
sf.write("korean.wav", audio[0], 24000)

python generate.py

OmniVoiceのコードはApache 2.0、事前学習済み重みはCC-BY-NCです。CC-BY-NCは非商用条件のため、商用アプリやサービスにこの重みを同梱しないでください。コードのオープンソースライセンスだけでモデル全体を商用利用できると判断しないでください。重みのライセンスとモデルカード

短いテストの後、公開予定の長さで音声を生成し、全体を聞いてください。数字の読みや発音に加え、BGMに混ぜる場合は音量や文間の間隔も確認します。ローカル生成でも、プライバシー、合成音声の表示、音声の権利、サービス規定は別途守る必要があります。

コードのライセンスだけを見て商用配布しないでください。事前学習済みの重みは条件が異なるため、製品に含める前に重みの利用範囲を別に確認してください。