画像・動画生成
画像・動画生成に必要なVRAMはどれくらいか
モデルファイルはGPUに読み込まれましたが、生成ボタンを押した後にメモリエラーが発生します。ほぼ生成が完了する段階で、さらにストレスを感じる状況です。画像や動画では、ファイルを保存するスペース以外に、生成中に拡大される作業スペースがあります。その拡大がどの段階で不足するかを段階的に確認します。
モデル本体の側にも必要な構成要素があります
テキストエンコーダーがプロンプトを処理し、画像をピクセルに変換するVAEおよび生成過程における中間データがメモリを使用します。ワークフローに応じて、画像や音声用のコンポーネントも追加されます。すべてが同時に上昇するか、順序で変化するかは異なります。
そのため、本体ファイルが12GB未満であるだけの理由で、12GB GPU上で望ましい解像度が得られる、と結論づけることはできません。ロード時とサンプリング時、最後の画像を生成する際のメモリピークは異なる可能性があります。
最初は問題なかったが解像度を上げると
横と縦をそれぞれ2倍に拡大すると、ピクセル面積は4倍になります。しかし内部のメモリと時間は、モデルの圧縮・アテンション・タイル処理によって異なるため、正確に4倍に固定されるとは限りません。面積が大きくなると作業負担も大きくなるという前提で理解すればよいです。
同様の理由で、1枚を作ることと複数枚を同時に作ることは異なります。バッチが不足している場合は、まず1枚ずつ順番に試すことができます。目的として、複数枚の総処理時間を短縮したいのか、あるいは1枚を完成させたいのかを明確にしましょう。
ビデオは時間軸まで一緒に見ます
フレーム数が増えると、複数の瞬間の状態との関係を処理しなければなりません。モデルの時間的圧縮方式およびワークフローにより内部計算量が異なるため、ビデオの長さだけではVRAMの要求量を決定することはできません。
短い長さから始め、解像度とフレーム数を一つずつ変更してください。両方を同時に増やした後に失敗した場合、どのパラメータを下げるべきかを判断するのは難しいです。出力が完了しても、最後のフレームまで形状が維持されているかを確認してください。
RAMに移すことで実行可能な余裕が生まれます
順に使用するコンポーネントをRAMに落下させ、必要に応じてGPUに上昇させるオフロードがあります。小さなカードでモデルを実行できるようにはなりますが、データの移動時間が増えます。モデル全体が各ステップで移動するのか、一部のステップでのみ移動するのかによってコストも異なります。
すべてのオフロードが同じ速度で遅れるわけではありません。実行ログと実際の時間を見て、ロードにかかる待ち時間と生成中の待ち時間を分けて確認してください。システムRAMが不足してディスクスワップが発生する状況もまた、別のボトルネックになります。
正解が何GBかを尋ねる前に
作成モデルや作業、解像度・長さ・フレーム数をまず決定しなければなりません。16GBは画像、24GBは動画のように単に容量だけではすべての実行範囲を分けられないため、実際に確認されたワークフローのピークメモリがより直接的なデータです。
すでに持っている設備で完遂できる場合、次の質問は待つ価値があるかもしれません。たまに実行するタスクはオフロードを受け入れることができ、毎日繰り返すタスクはメモリを増強することで転送を減らす価値があるかもしれません。誤りの1回で最高スペックにアップするのではなく、実際に不足している空間がどこにあるかをまず確認してください。