WhisperXで韓国語字幕の同期と話者ラベルを整える

WhisperXは録音を文字起こしした後、アラインメントモデルで各単語が音声のどこにあるかを推定します。単語単位の区間があれば、字幕編集ソフトでずれた語だけ直しやすくなります。アラインメントは渡されたテキストを音声に合わせる処理なので、文字起こしが誤っていても時刻が付くことがあります。WhisperX公式リポジトリ

短い韓国語 WAV ファイルで文字起こしとアラインメントを実行します。文の内容と各単語の開始・終了時刻を確認し、誤認識した単語を先に直します。修正後の文で再度アラインメントを実行すると、字幕の修正箇所を見つけやすくなります。

まず ffmpeg をインストールし、作業フォルダーに recording.wav を置きます。以下のコマンドは macOS と Debian・Ubuntu Linux 向けです。続けて Python 環境に PyTorch² と WhisperX をインストールします。

# macOS
brew install ffmpeg

# Debian / Ubuntu Linux
sudo apt-get update && sudo apt-get install -y ffmpeg

python -m pip install torch torchaudio
python -m pip install whisperx

whisperx recording.wav --output_dir whisperx-output --language ko --model large-v2 --compute_type int8 --device cpu --highlight_words True

現在のフォルダーに recording.wav を置いてコマンドを実行すると、whisperx-output/recording.srt と文字起こしが保存されます。--language ko で韓国語を選ぶと、WhisperX が韓国語のアラインメント設定で単語ごとの時刻を計算します。

話者分離では録音の区間ごとに話者 ID を付けます。WhisperX が使用する pyannote のモデルカードでアクセス条件に同意してから、Hugging Face の読み取りトークン³を用意します。macOS・Linux の Bash で以下のように入力すると、トークンは画面に表示されず、現在のシェルだけで使われます。

参加者が 2 人の会話では、--min_speakers 2 --max_speakers 2 を追加して想定人数を伝えられます。この値はモデルが区間の境界を探す際の目安です。重なった発話や短い相づちは統合されたり別の ID が付いたりすることがあるため、録音を聞き直してラベルを確認します。

read -rs HF_TOKEN
printf '\n'
export HF_TOKEN
whisperx recording.wav --output_dir whisperx-output --language ko --model large-v2 --compute_type int8 --device cpu --diarize --min_speakers 2 --max_speakers 2 --highlight_words True --hf_token "$HF_TOKEN"

whisperx-output/recording.srt を WAV と一緒に字幕編集ソフトで開き、文とタイムコードを修正します。数字や名前、発話が重なる区間を先に確認すると、アラインメントの誤りと文字起こしの誤りを区別しやすくなります。

話者 ID は人物名ではなく、話者を区別する番号です。議事録に名前を付ける前に音声を聞き直し、参加者と組織が認めた範囲に従って WAV と SRT を保管します。