画像・動画生成
最終更新
MMAudioで動画に効果音を付ける
8秒のクリップと効果音の説明から始めます。
MMAudioは動画とテキストを条件に、フレーム1に同期した音声を生成します。公式CLI2は動画とプロンプト3を受け取り、output/以下にFLAC音声とMP4を保存します。まず標準の8秒に近いクリップで音と映像が合うか確認します。
短い動画と音の説明を用意する
MMAudioは動画やテキストから同期音声を生成する研究用ツールです。ドアを開ける場面なら、A wooden door creaks open, quiet indoor room toneのように何がいつ聞こえるかを書きます。公式デモの標準は8秒で、動画とプロンプトをCLIに渡します。MMAudio公式リポジトリ
CUDA対応PyTorchを先に合わせる
公式リポジトリはPython 3.9以降、PyTorch4 2.5.1以降、対応するtorchvision・torchaudioを必要とします。リポジトリ内に作成した.venvを有効化し、ドライバーが対応するCUDA5版のPyTorchを導入してからパッケージをeditableモードでインストールします。作者はUbuntuのみでテストしたと記載しています。PyTorch公式ページでドライバーに合うコマンドを選択
git clone https://github.com/hkchengrex/MMAudio.git
cd MMAudio
python -m venv .venv
source .venv/bin/activate
# In MMAudio/.venv, run the PyTorch install command selected at https://pytorch.org/get-started/locally/
python -m pip install -e .
cp /path/to/scene.mp4 ./scene.mp4保存した音声を動画と一緒に聴く
セットアップ時に /path/to/scene.mp4 を実際のファイルパスに置き換え、リポジトリの最上位にある MMAudio/scene.mp4 にコピーします。MMAudio/.venv を有効にした同じシェルでリポジトリのルートに移動し、以下の CLI を実行します。
処理が終わったら output/ に保存された FLAC と MP4 を開き、効果音の始まりが映像の動きに合うか確認します。FAQ によると、入力動画の解像度を上げても音質は改善せず、エンコード・デコード6時間が長くなることがあります。フレームはエンコーダーに合わせて縮小・クロップされるため、まず画面中央の音から試します。
cd /path/to/MMAudio
source .venv/bin/activate
python demo.py --duration=8 --video=scene.mp4 --prompt "A wooden door creaks open, quiet indoor room tone"
メモリと利用条件を確認する
用語の注釈
フレーム — 動画を構成する1枚の画像です。
本文に戻るCLI — Command-Line Interfaceの略です。ターミナルにコマンドを入力してプログラムを操作する方式です。
本文に戻るプロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻るPyTorch — AIモデルを作成・実行するソフトウェアフレームワークです。モデルと合わせて、対応するPyTorchの版やハードウェアも確認します。
本文に戻るCUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。
本文に戻るトークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻るチェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- MMAudioは動画とテキストを条件に、フレームに同期した音声を生成します。公式CLIは動画とプロンプトを受け取り、`output/`以下にFLAC音声とMP4を保存します。まず標準の8秒に近いクリップで音と映像が合うか確認します。
- 必要なメモリはどのくらいですか？
- リポジトリの作成者は、既定の `large_44k_v2` モデルを 16-bit で実行する場合、約 6 GB の GPU メモリが必要と案内しています。メモリ不足や出力の中断が起きたら、`--duration=8` を維持して入力ファイルを正常にデコードできるか確認します。
- 条件と出典はどこで確認できますか？
- チェックポイントには CC-BY-NC 4.0 ライセンスが適用されます。製品制作に使う場合は、ライセンスと学習データの出典条件を確認してください。