MacでLingBot-World V2を実行: 画像とカメラ経路から動画を作る

LingBot-World V2は開始画像、カメラ移動を含む操作経路、場面promptを受け取り、後続フレーム⁵を生成するワールドモデルです。Mac経路ではApple Silicon上のPyTorch MPSが1.3B causal-fast DiTを実行し、結果をMP4として保存します。このガイドでは上流のCUDA⁶マルチGPU⁷方式ではなく、PandacatAIのApple Silicon forkを使います。

3つの入力のどれかを変えると生成場面も変わることがあります。最初はexamples/03の画像とカメラ経路をそのまま使い、promptを確認するとファイルとコマンドの接続を確かめやすくなります。

Apple Silicon MacとPython環境を準備します。以下ではHugging FaceからMPS forkのコードと設定を取得し、プロジェクトのrequirements.txtからCUDA専用のflash_attn行を除いて依存関係を導入します。macOSではこのパッケージをインストールしません。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U pip huggingface_hub
hf download PandacatAI/lingbot-world-v2-mps --local-dir lingbot-world-v2-mps
cd lingbot-world-v2-mps
grep -v '^flash_attn$' requirements.txt > requirements-mps.txt
python -m pip install -r requirements-mps.txt

requirements-mps.txtはCUDA packageを除いたローカル導入一覧です。hf: command not foundが出たら、有効な.venvでpython -m pip install -U huggingface_hubを実行してから取得を再開します。

1.3Bチェックポイント⁸には動画を生成するDiTの重みが入っています。プロンプトを処理するT5、動画を圧縮・復元するVAE、tokenizerもckptに用意します。以下は元のエンコーダと任意のMLX⁹ 8-bitエンコーダを両方取得するため、保存容量に余裕を持たせてください。動画生成本体とVAEはPyTorch MPSで動きます。

python -m pip install -U huggingface_hub
hf download robbyant/lingbot-world-v2-1.3b-causal-fast --local-dir ckpt/transformers
hf download Wan-AI/Wan2.1-T2V-14B Wan2.1_VAE.pth --local-dir ckpt
hf download google/umt5-xxl --local-dir ckpt/google/umt5-xxl
python -m pip install mlx
hf download PandacatAI/umt5-xxl-enc-mlx-q8 --local-dir ckpt/umt5-xxl-enc-mlx-q8

取得後、1.3B DiTがckpt/transformersにあり、Wan2.1_VAE.pthがckpt直下にあることを確認します。T5とtokenizerはckpt/google/umt5-xxlに置きます。8-bit encoderを導入した場合、自動選択にはckpt/umt5-xxl-enc-mlx-q8が必要です。元のbf16¹⁰ encoderを使う場合、生成コマンドに--t5_backend torchを追加します。

最初は例の画像とカメラ操作経路をそのまま使います。--frame_num 121で要求フレーム数を指定します。公開された同じ例では109フレームが保存されました。--size '480*832'は出力サイズ、--local_attn_size 18と--sink_size 6はcausal文脈を設定します。--save_fileで保存先を指定します。

mkdir -p output
python generate.py --task i2v-1.3B --size '480*832' --ckpt_dir ckpt --image examples/03/image.jpg --action_path examples/03 --frame_num 121 --local_attn_size 18 --sink_size 6 --prompt 'A serene lakeside scene with a lone tree standing in calm water, surrounded by distant snow-capped mountains under a bright blue sky with drifting white clouds, gentle ripples reflect the tree and sky, creating a tranquil, meditative atmosphere.' --save_file output/lingbot-mps-demo.mp4

完了メッセージに保存先が表示され、指定したMP4が作成されます。見つからない場合は、lingbot-world-v2-mpsを基準にckpt_dirと画像・操作pathが正しいか確認し、ckpt/transformersと共通T5/VAE directoryを調べます。

Mac向けforkの公開例では、短い動画の生成にも分単位の待ち時間がかかります。まずこの例の出力サイズとフレーム数で試すと、長い動画へ進む前に待ち時間とメモリ使用量を確かめられます。

M4 Pro 48GB・PyTorch MPS・1.3B causal-fast・MLX 8-bit text encoder・prompt cache hit・要求121/保存109フレーム・conditioning encode最適化前の測定。

その後、入力画像を処理するconditioning encodeが最適化されました。361フレーム要求の同一プロセス比較では、この段階が1,048.6秒から349.6秒に短縮しました。下表は変更前の全体生成記録です。現行版では取得と初期化が終わってからMP4が保存されるまでを計測してください。

PythonがMPSを検出しない場合、有効な環境でpython -c 'import torch; print(torch.backends.mps.is_available())'を実行します。TrueでなければApple Silicon向けPyTorch¹¹の導入を確認します。checkpoint pathエラーではckpt/transformers、ckpt/Wan2.1_VAE.pth、ckpt/google/umt5-xxlを確認します。MP4を再生できない場合は完了ログとoutput/lingbot-mps-demo.mp4のファイルサイズを調べます。

元のLingBot-World V2とApple Silicon forkにはCC BY-NC-SA 4.0が適用されます。非営利利用、表示、改変物への同一ライセンス適用が必要です。再配布や派生物を予定する場合はライセンス全文を読み、モデルやデータごとの条件も確認してください。NVIDIAの実行条件はCosmos 3 Edgeガイドをご覧ください。