画像・動画生成

RTX 5090でMatrix-Game 4.0のローカルブラウザデモを実行する

ゲームエンジンが入力と物理を計算し、動画モデルが画面を描画します。

Matrix-Game-4リポジトリでPython 3.12とCUDA¹ 13.2用PyTorch²環境を作り、rtx5090プリセットを選びます。manifest revision 2c53100457da7abcf0e966f75637c644d3423a63からAncient Egyptのモデルとゲームアセットを取得し、ネイティブゲームをビルドしてMediaMTXとモデルサーバーを起動すると、http://127.0.0.1:8025/でローカルデモを開けます。

実行条件と要点

推論サーバーはLinux、Python 3.12、NVIDIA GPUで実行します。
5090プリセットは--preset rtx5090で、別の量子化チェックポイントは不要です。
--fps 40はゲームのキャプチャ目標周期であり、モデル処理量や遅延の測定値ではありません。
サーバーPCでhttp://127.0.0.1:8025/を開くとデモに接続できます。

エンジンがゲームを計算し、モデルが画面を描画します

Matrix-Game 4.0は実行可能なローポリゲームで、ゲームエンジンがキーボード入力と物理を処理し、causal video modelがクリーンなRGB画面をストリーミングします。HUDと音声はレンダラーの外でフレーム³に同期します。この手順ではRTX 5090 1台でAncient Egyptシーンをローカルブラウザから操作します。公式v4 README

山道の映像を2つ並べたモニターの横にPCとフィルムリールが置かれています — 実行環境にはゲームクライアントと推論サーバーの両方が必要です。

LinuxとRTX 5090の実行環境を準備します

推論にはLinux、NVIDIA GPU⁴、Python 3.12が必要です。ブラウザデモを動かす同じホストにネイティブゲームとGStreamerも準備し、CMake、C++20、SDL2、FFmpegなどのシステム依存関係は公式インストールガイドに従って導入します。モデル推論のみを試す場合とブラウザデモでは必要な構成が異なります。

RTX 5090経路ではrtx5090または任意のrtx5090-sageプリセットを明示します。標準のrtx5090はPyTorch SDPAを使い、SageAttentionの導入は不要です。他のGPUに合わせてプリセットを自動選択する構成でもありません。現行READMEが公開している最適化推論経路は5090向けで、5080と5070は後続リリース予定と記載されています。RTX 5090セットアップ

仮想環境にPyTorchとMatrix-Gameをインストールします

リポジトリをcloneし、v4フォルダに移動します。以下のコマンドはPython 3.12の仮想環境⁵を作成し、CUDA 13.2用PyTorch 2.12.0とMatrix-Gameの推論・サーバー・ダウンロード依存関係を導入します。リポジトリ内のMatrix-Game-4ディレクトリで実行してください。

RTX 5090用Python環境を作成

git clone https://github.com/SkyworkAI/Matrix-Game.git
cd Matrix-Game/Matrix-Game-4
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install torch==2.12.0 torchvision==0.27.0 --index-url https://download.pytorch.org/whl/cu132
python -m pip install -e '.[inference,server,download,test]'

固定revisionからAncient Egyptのファイルを取得します

ゲームデータとモデルは別々に取得します。2つのmanifestを同じ公式Hub revision 2c53100457da7abcf0e966f75637c644d3423a63に合わせると、コードが想定するアセット一覧とチェックポイント⁶をそろえられます。例ではAncient Egyptシーンをresources/に保存します。ダウンロードファイルはGit管理下のソース領域へ移さず、このディレクトリに置いてください。

シーンアセットとチェックポイントを取得

matrix-game download --manifest releases/game-assets.json \
  --repo-id Skywork/Matrix-Game-4.0 --repo-type model \
  --revision 2c53100457da7abcf0e966f75637c644d3423a63 \
  --scene ancient-egypt --resources resources

matrix-game download --manifest releases/models.json \
  --repo-id Skywork/Matrix-Game-4.0 --repo-type model \
  --revision 2c53100457da7abcf0e966f75637c644d3423a63 \
  --scene ancient-egypt --resources resources

フィルムストリップに自転車の人物が道を進む連続シーンが並んでいます — 操作入力がゲーム状態を変え、モデルがその状態を描画します。

ゲームをビルドして2つのサービスを起動します

インストールガイドに記載されたネイティブライブラリとブラウザデモ用メディア依存関係を導入したら、Matrix-Game-4/からゲームをビルドします。MediaMTXとモデルサーバーは別のターミナルで動かすため、各プロセスを終了せず、別のウィンドウから次の手順を実行してください。ブラウザデモの要件

ゲームをビルド

bash scripts/build_game.sh

ターミナル1: MediaMTXを起動

mediamtx configs/mediamtx.yml

ターミナル2: RTX 5090推論サーバーを起動

CUDA_VISIBLE_DEVICES=0 bash scripts/serve.sh \
  --scene ancient-egypt --resources resources --preset rtx5090 \
  --prompt-mode fixed --fps 40

ブラウザで場面を開き、最初のエラーを切り分けます

2つのプロセスが動作したら、サーバーPCでhttp://127.0.0.1:8025/を開きます。操作して場面とHUDが表示されるか確認します。--fps 40はゲームフレームをキャプチャする目標周期です。モデルが毎秒40フレームを生成する、またはキー操作後1/40秒で画面が反応するという測定値ではありません。ブラウザのデコード⁷、伝送、バッファリングも実際の応答に影響します。

ページが開かない場合は、まずMediaMTXとモデルサーバーのターミナルが動作中か確認します。モデルファイルのエラーが出たら、リポジトリのルートから両方のmanifestに対してmatrix-game verifyを実行し、不足ファイルを調べます。CUDA初期化に失敗した場合は、この仮想環境にCUDA 13.2版PyTorchが入り、NVIDIAドライバーがその組み合わせをサポートしているか確認してください。検証コマンドはモデルを再ダウンロードせず、設置済みファイルとチェックサムを照合します。

ブラウザデモは認証付きの公開サービスではなく、信頼された単一ユーザー向けです。HTTP・RTSP・WebRTCは初期設定でloopbackにバインドされるため、ポート転送やファイアウォール変更でインターネットへ公開しないでください。リモート接続が必要なら、公開文書のSSH転送手順とセキュリティ案内に従います。公式セキュリティガイド

映像シーンを表示するモニターと大きさの異なるPCがある作業室 — PCのイラストはMatrix-Game 4.0の実行画面ではありません。

用語の注釈

CUDA — NVIDIA GPUで汎用計算を行うソフトウェア基盤です。
本文に戻る
PyTorch — AIモデルを作成・実行するソフトウェアフレームワークです。モデルと合わせて、対応するPyTorchの版やハードウェアも確認します。
本文に戻る
フレーム — 動画を構成する1枚の画像です。
本文に戻る
GPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻る
Python仮想環境 — プロジェクトごとにPythonパッケージを分けて導入する環境です。パッケージのバージョンの衝突を減らせます。
本文に戻る
チェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻る
トークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。
本文に戻る

よくある質問

この記事で最初に確認すべきことは何ですか？: Matrix-Game-4リポジトリでPython 3.12とCUDA 13.2用PyTorch環境を作り、`rtx5090`プリセットを選びます。manifest revision `2c53100457da7abcf0e966f75637c644d3423a63`からAncient Egyptのモデルとゲームアセットを取得し、ネイティブゲームをビルドしてMediaMTXとモデルサーバーを起動すると、`http://127.0.0.1:8025/`でローカルデモを開けます。
選ばないほうがよいのはどのような場合ですか？: ブラウザデモは認証付きの公開サービスではなく、信頼された単一ユーザー向けです。HTTP・RTSP・WebRTCは初期設定でloopbackにバインドされるため、ポート転送やファイアウォール変更でインターネットへ公開しないでください。リモート接続が必要なら、公開文書のSSH転送手順とセキュリティ案内に従います。[公式セキュリティガイド](https://github.com/SkyworkAI/Matrix-Game/blob/main/Matrix-Game-4/SECURITY.md)