ワールドモデルとは？PC上でAIが次の場面を生成する仕組み

ワールドモデルは環境の現在状態と行動を受け取り、次の状態を予測するモデルです。ゲーム画面を扱う場合、キャラクターが立つ場面と移動キーを入力して次のフレームを作れます。フレームや短い動画を出力するモデルもあれば、ゲームエンジンと接続して次の画面を描画するシステムもあります。まず出力が動画ファイルか、操作できるゲームセッションかを確認します。

行動入力はプロジェクトによって異なり、キーボード操作、カメラ経路、操作記録ファイルなどがあります。現在の場面と対応する行動がそろうと、次の場面を続けて予測できます。Matrix-Game 4.0ではゲームの入力と物理をエンジンで処理し、ニューラル動画モデルがローポリのRGB画面を描画します。

プロジェクトによって入力と出力は異なります。キーボードで操作するゲーム、Atariシミュレーター、カメラ条件に沿ってフレームをつなぐ動画、ロボットの物理・行動モデル、記録した操作からレンダリングするクリップなどから、目的の作業を選びます。その後、各リポジトリでOSとモデルファイルの条件を確認します。

Matrix-Game 4.0はゲームエンジンがルール・物理・入力を処理し、動画モデルがローポリ画面をストリームとして描画します。LinuxではRTX 5090プリセットを使ったローカルブラウザデモを実行できます。

DIAMOND CSGO経路ではCounter-Strike: Global Offensiveの場面で学習した拡散ワールドモデルを実行します。リポジトリのcsgoブランチに切り替えて再生し、Apple SiliconではPYTORCH_ENABLE_MPS_FALLBACK=1を指定してMPS非対応の演算をCPU²に渡す手順がREADMEに記載されています。

LingBot-World V2のApple Silicon forkは1.3B causal-fastモデルを単一のMPSデバイスで動かします。静止画を1枚ずつ作るツールというより、カメラ条件に沿って動画フレームを続けて生成する仕組みです。

NVIDIA Cosmos3-Edgeは動画・画像生成に加え、Physical AI向けのdynamicsとpolicy経路を提供します。4BモデルカードでもGeneratorとReasonerの処理が分かれているため、ゲーム画面の続きを作るのか、ロボット環境の行動や状態を扱うのかを先に決めます。

Hunyuan-GameCraftは参照画像とキーボード形式のカメラ行動からゲーム風の動画を生成します。公式Linux CUDA³経路では、記載されたケースの単一GPU⁴最低メモリを24GBとし、その構成は非常に遅いと説明しています。

Oasis 500Mは開始画像または動画と行動シーケンスファイルを入力し、後続フレームを生成してvideo.mp4に保存するオフライン例です。モデルカードでは、ウェブサイトのライブデモをより大きなバージョンと説明しています。

Matrix-Game 4.0ではエンジンが衝突・ルール・キー入力に応じたゲーム状態を計算し、ニューラル動画モデルがその状態の画面を描画します。HUDと音声はモデル生成のRGBフレームの外で同期します。

Oasisのgenerate.pyは、あらかじめ用意した操作記録をモデルに入力し、動画ファイルを作成します。キーを押してリアルタイムにゲームを操作するUIはありません。対話的なゲームセッションが必要なら、エンジン・通信・ブラウザーUIを接続するMatrix-Gameのようなプロジェクトを検討してください。Matrix-Gameの構成説明とOasisの推論コードを比べると、実行方式の違いが分かります。

LinuxのNVIDIA PCでブラウザ操作を試すなら、Matrix-GameのRTX 5090経路を確認してください。Apple Siliconの単一デバイスで動画生成を試すなら、LingBot-World MPS forkが別の選択肢です。開始画像と行動記録をPythonスクリプトに渡し、保存されたクリップを確認したい場合はOasis 500Mが直接的な例です。

モデルファイルを取得する前に、各リポジトリの利用条件を確認します。Oasisのチェックポイント⁵にはHugging Faceへのログインが必要で、アクセス条件の確認も求められます。LingBot MPS forkはCC BY-NC-SA 4.0を示しており、DIAMONDのAtari経路にはROMのライセンス条件も適用されます。ダウンロードできることだけで利用権が得られるわけではないため、プロジェクト・モデル・ROMそれぞれの条件を確認してください。

短い動画を保存したいのか、ブラウザでゲームを操作したいのか、ロボット環境の状態・行動を扱いたいのかで最初の経路は変わります。動画ファイルを先に確認するなら、開始画像とactionファイルを使うOasisの手順を選びます。操作できるゲーム画面が必要なら、Matrix-Gameのエンジンとブラウザデモを選んでください。モデル名や公開デモ画面だけからローカル実行形式を推測しないでください。

次はMatrix-Game 4.0 RTX 5090ガイドでローカルブラウザゲームを準備するか、Oasis 500M実行ガイドで画像と行動ファイルからvideo.mp4を作成できます。各ページでは、そのプロジェクトに必要な実行環境を説明します。