画像・動画生成

ローカル動画生成：テキストや画像から映像を作る

一枚の写真は気持ちがよくなりましたが、動きを始めると顔や製品の形状が変わってしまいます。ローカルビデオ生成はフレームを多く生成するだけでは終わりません。複数の瞬間をかけて同じシーンを維持しなければならず、短いシーンを一貫して確認するようにしています。

まずは数秒の短いカットを決める

たとえば、製品の写真にカメラが少し近づくシーンを作りたいと仮定してみましょう。最初はその一つの動作だけを確認します。製品の回転や背景の変化、大きなカメラの移動を一気に要求すると、どのような条件下で形状が崩れてしまうのかを正確に理解するのは難しいです。

テキストのみで新しいシーンを生成する方法と、画像を開始条件として使う方法は異なります。適切な画像が既に用意されている場合は、画像入力が可能なモデルから確認できます。画像が与えられたとしても、すべてのフレームの形が保証されるとは限りません。

5秒間の結果動画は、生成後に5秒間再生されるということです。その生成に要した時間とは異なります。フレーム数、解像度、モデル、ステップが異なると生成時間も変わります。

たとえば、24fpsで5秒を再生すると表示されるフレームは120枚になります。しかし、モデルが内部で処理する時間軸は、圧縮や補間などのワークフローによって変化します。120枚の独立した画像を作成する時間で動画生成コストを単純に計算することはできません。

短い長さや低い解像度での対応において、シーンが一貫して維持されているかを確認します。最初のシーンだけが良好であって、中間で形状が変化すれば、高い解像度で再生成しても解決されない可能性があります。動作を減らすか、他の入力条件を試す必要が生じます。

望んだ動きを確認した後、解像度と長さを変更してください。このときも、構図と動きが同じであるとは保証されていませんので、再再生して確認してください。シード・プロンプト・モデル・設定を一緒に保存しておくと、どのような修正が有効だったかを振り返ることができます。

すべてのビデオモデルが音声を同時に生成するわけではありません。サポートされるパスであれば、音が動きと一致しているか、望ましくない音声が含まれているかを別々に確認します。無音結果に必要な音声を編集段階で追加する方法もあります。

複数の短いカットを作成した場合は、編集ソフトでつなげて色や音を調整します。生成ボタンを1回押すことで長い完成動画を得るという目標よりも、実際に使える数秒の動画を作ることを目的として、問題を分割して扱うほうが簡単です。

同様のVRAMにおいても、モデルファイルや精度、解像度・フレーム数・オフロードによって実行範囲が異なります。2つのGPUを使用する場合、そのワークフローはその分割をサポートしなければなりません。メモリの総和だけでは実行時間を計算しないでください。

単に1つのチャンクを生成する時間だけでなく、再生成する回数も考慮すべきです。毎日複数のカットを制作する場合と、時々個人用の写真を移動する場合では、待つ時間の差が生じます。この差が機器に追加コストをかける理由になります。

サイトでは、予想時間が経過した後、準備されたビデオサンプルを再再生します。選択されたデバイスがそのビデオをリアルタイムで生成したり、新しいプロンプトを解釈したりしているわけではありません。デバイス間の待ち時間の体験です。

購入を決定する前に、ターゲットモデルの実際のワークフローで、同じ長さと解像度の結果を確認してください。短いカットでも、その形が維持され、再生成するまで待つ価値がある場合、その構成が現在の作業の出発点になる可能性があります。