ローカル音声認識・音声合成

VoxCPM2で韓国語音声を作る:30言語TTS

韓国語を含む30言語で音声を生成する2BのTTSモデルです。

VoxCPM2はテキストを48 kHz音声に変換する2Bモデルで、韓国語・日本語を含む30言語に対応します。公式Web DemoはCPU1、Apple MPS、CUDA2をサポートし、Apple Siliconで--device autoを指定するとMPSを選びます。下のPython例はパッケージAPI3で最初のWAVを作ります。

実行条件と要点
  • 韓国語を含む30言語に対応し、48 kHz音声を出力します。
  • 公式要件はPython 3.10以降、PyTorch 2.5以降、CUDA 12以降、VRAM約8GBです。
  • 公開モデルとコードのApache 2.0条件を確認します。

テキストから韓国語音声を生成する

VoxCPM2はOpenBMBの2BパラメータTTS4モデルです。モデルカードには韓国語、英語、日本語など30言語と48 kHz出力が記載されています。テキストから再生可能な音声ファイルを作る用途に使えます。VoxCPM2モデルカード

開いた本、小型コンピューター、スピーカーが置かれた机
韓国語のテキストを選び、生成された声を聞きます。

先にCUDAとVRAMの要件を満たす

モデルカードの例はPython 3.10以降、PyTorch5 2.5以降、CUDA 12以降、約8GBのVRAM6を想定しています。仮想環境7にパッケージを入れ、CUDAを使う場合はPyTorchページで対応wheelを選びます。

公開パッケージをインストール
python -m pip install voxcpm soundfile

最初の文を合成してWAVを保存する

短い韓国語文を合成してkorean.wavに保存します。以下を作業フォルダーのgenerate.pyに保存し、python generate.pyで実行してください。出力は同じフォルダーに作られます。

generate.pyで韓国語WAVを合成
import soundfile as sf
from voxcpm import VoxCPM

model = VoxCPM.from_pretrained("openbmb/VoxCPM2")
audio = model.generate(text="오늘 회의는 오후 두 시에 시작합니다.")
sf.write("korean.wav", audio, model.tts_model.sample_rate)
generate.pyを実行
python generate.py
マイク、ヘッドホン、音声波形を表示したモニターのある作業机
WAV出力で発音と文末を確認します。

公開RTFと自分の処理時間を分けて見る

カードの速度測定はRTX 4090やNano-VLLMなど、明記された機材と実行構成に限られます。モデル読み込み、最初の音声までの時間、長文生成はそれぞれ異なります。長さをそろえた原稿を自分の端末で測り、音質と時間を合わせて比べてください。

ライセンスと利用目的を確認する

モデルカードとリポジトリにはApache 2.0が記載されています。配布するコードと重みの条件を確認し、生成音声を公開・商用利用する場合は関連ポリシーと音声の権利も別途確認してください。本人の声の複製8や他者の音声利用は明示的な許可がある場合だけ行ってください。ライセンスとカード

ヘッドホン、オーディオプレーヤー、開いたノートが置かれた机
インストール前にVRAMとCUDAの要件を確認します。

用語の注釈

  1. CPU — OSや一般的なプログラム命令を実行する中央処理装置です。AIでは前処理やデータ転送などの汎用処理も担います。

    本文に戻る
  2. CUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。

    本文に戻る
  3. API — 別のコードからプログラムの機能を呼び出すための決められたインターフェースです。

    本文に戻る
  4. 音声合成 — テキストを発音や韻律を伴う音声信号に変換する技術です。

    本文に戻る
  5. PyTorch — AIモデルを作成・実行するソフトウェアフレームワークです。モデルと合わせて、対応するPyTorchの版やハードウェアも確認します。

    本文に戻る
  6. VRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。

    本文に戻る
  7. Python仮想環境 — プロジェクトごとにPythonパッケージを分けて導入する環境です。パッケージのバージョンの衝突を減らせます。

    本文に戻る
  8. 音声クローン — 参照音声から話者の特徴を取り出し、似た声の音声を合成する技術です。本人の音声、または使用許可を得た音声だけを参照資料に使います。

    本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか?
VoxCPM2はテキストを48 kHz音声に変換する2Bモデルで、韓国語・日本語を含む30言語に対応します。公式Web DemoはCPU、Apple MPS、CUDAをサポートし、Apple Siliconで`--device auto`を指定するとMPSを選びます。下のPython例はパッケージAPIで最初のWAVを作ります。
必要なメモリはどのくらいですか?
モデルカードの例はPython 3.10以降、PyTorch 2.5以降、CUDA 12以降、約8GBのVRAMを想定しています。仮想環境にパッケージを入れ、CUDAを使う場合はPyTorchページで対応wheelを選びます。
条件と出典はどこで確認できますか?
VoxCPM2はOpenBMBの2BパラメータTTSモデルです。モデルカードには韓国語、英語、日本語など30言語と48 kHz出力が記載されています。テキストから再生可能な音声ファイルを作る用途に使えます。[VoxCPM2モデルカード](https://huggingface.co/openbmb/VoxCPM2)