이미지·영상 생성
최종 업데이트
월드 모델이란? 내 컴퓨터에서 AI가 다음 장면을 만드는 방법
현재 장면과 행동으로 다음 이미지·상태를 예측하는 기술이에요.
월드 모델은 지금 보이는 장면과 키 입력·카메라 이동 같은 행동을 받아 다음 프레임1이나 환경 상태를 예측해요. 다만 게임 엔진에 신경 렌더러를 붙인 Matrix-Game, Atari 환경을 학습하는 DIAMOND, 정해 둔 행동 파일로 영상을 생성하는 Oasis처럼 구현과 실행 방식은 서로 달라요.
월드 모델은 현재 장면에서 다음 상태를 예측해요
월드 모델은 환경의 현재 상태와 행동을 받아 다음 상태를 예측하는 모델이에요. 게임 화면을 입력으로 쓰는 경우라면 캐릭터가 서 있는 장면과 이동 키를 받아 다음 프레임을 만들 수 있어요. 어떤 모델은 프레임이나 짧은 영상을 내고, 어떤 시스템은 게임 엔진의 상태와 연결해 다음 렌더링을 만들어요. 그래서 결과가 영상 파일인지, 조작 가능한 게임 세션인지부터 확인해야 해요.
행동 입력은 키보드 버튼, 카메라 경로, 조작 기록 파일처럼 프로젝트마다 달라요. 현재 장면과 행동이 맞물려야 다음 장면을 이어 예측할 수 있습니다. Matrix-Game 4.0은 게임 입력과 물리를 엔진에서 처리하고, 신경 비디오 모델이 저폴리 RGB 화면을 렌더링해요.
같은 이름 아래 여섯 가지 입력 경로가 있어요
프로젝트마다 입력과 결과가 달라요. 키보드로 플레이하는 게임, Atari 시뮬레이터, 카메라 조건으로 프레임을 잇는 영상, 로봇의 물리·행동 모델, 기록된 조작으로 렌더링한 클립 가운데 원하는 작업을 고른 뒤, 해당 저장소에서 OS와 모델 파일 조건을 확인해요.
Matrix-Game 4.0는 게임 엔진이 규칙·물리·조작을 처리하고, 비디오 모델이 저폴리 화면을 실시간 스트림으로 렌더링하는 구성입니다. 5090 프리셋으로 Linux 로컬 브라우저 데모를 실행할 수 있어요.
DIAMOND CSGO 경로는 Counter-Strike: Global Offensive 장면의 확산 월드 모델을 실행해요. 저장소의 csgo 브랜치로 이동해 플레이를 시작하고, Apple Silicon에서는 PYTORCH_ENABLE_MPS_FALLBACK=1을 지정해 MPS가 지원하지 않는 연산을 CPU2로 넘기는 방법을 안내해요.
Apple Silicon용 LingBot-World V2 포크는 1.3B causal-fast 모델을 MPS 단일 기기에서 실행해요. 한 장의 정지 이미지보다 카메라 조건에 맞춰 영상 프레임을 이어 만드는 경로예요.
NVIDIA Cosmos3-Edge는 영상·이미지 생성과 물리 AI용 dynamics, policy 경로를 제공해요. 4B 모델 카드 안에서도 생성기와 추론기 작업이 나뉘므로, 게임 화면을 이어 만들고 싶은지 로봇 환경의 행동·상태를 다루려는지 먼저 구분해요.
Hunyuan-GameCraft는 참조 이미지와 키보드식 카메라 행동을 받아 게임 같은 영상을 생성해요. 공식 Linux CUDA3 경로는 단일 GPU4 24GB를 최소 메모리로 적지만, 해당 설정은 매우 느리다고 안내해요.
Oasis 500M는 시작 이미지나 영상과 행동 시퀀스 파일을 받아 다음 프레임을 생성하고 video.mp4로 저장하는 오프라인 예제예요. 사이트의 큰 라이브 데모와 공개된 500M 체크포인트5는 같은 실행 구성이 아닙니다.
게임 엔진과 신경 렌더러는 역할이 달라요
Matrix-Game 4.0에서는 엔진이 충돌·규칙·키 입력에 따른 게임 상태를 계산하고, 신경 비디오 모델이 해당 상태의 깨끗한 화면을 그려요. HUD와 소리는 모델이 생성한 RGB 프레임 바깥에서 맞춰집니다.
Oasis generate.py는 미리 준비한 조작 기록을 모델에 넣어 영상 파일을 만들어요. 키를 누르며 실시간 게임을 조작하는 UI는 제공하지 않아요. 결과가 실제 플레이 세션이어야 한다면 Matrix-Game처럼 엔진·전송·브라우저 UI를 연결한 프로젝트를 살펴봐요. Matrix-Game 구조 설명과 Oasis 추론 코드를 비교하면 실행 방식의 차이를 확인할 수 있어요.
실행 경로는 입력과 장비에서 갈려요
Linux NVIDIA PC에서 브라우저로 조작해 보고 싶다면 Matrix-Game의 RTX 5090 경로를 살펴보세요. Apple Silicon에서 단일 기기 비디오 생성을 시험하려면 LingBot-World MPS fork가 다른 선택입니다. Python 스크립트에 시작 이미지와 행동 기록을 주고 결과 파일을 확인하고 싶다면 Oasis 500M이 더 직접적인 예예요.
모델 파일을 받기 전에 각 저장소의 이용 조건을 확인해요. Oasis 체크포인트는 Hugging Face 로그인이 필요하고 접근 조건을 확인해야 해요. LingBot MPS fork는 CC BY-NC-SA 4.0을 표시하며, DIAMOND의 Atari 경로에는 ROM 라이선스 조건도 적용돼요. 다운로드할 수 있다는 사실만으로 사용 권한이 생기지는 않으니 프로젝트·모델·ROM의 조건을 각각 살펴봐요.
먼저 원하는 결과 파일이나 조작 방식을 정해요
짧은 영상을 저장하려는지, 브라우저에서 게임을 조작하려는지, 로봇 환경의 상태·행동을 다루려는지에 따라 첫 경로가 달라져요. 영상 파일을 먼저 확인하고 싶으면 시작 이미지와 action 파일을 요구하는 Oasis 안내를 따라가면 됩니다. 상호작용 가능한 게임 장면을 보고 싶으면 Matrix-Game의 엔진과 브라우저 데모 경로를 선택하세요. 모델 이름이나 공개 데모의 화면만 보고 실행 형태를 짐작하지 마세요.
다음 단계로는 Matrix-Game 4.0 RTX 5090 가이드에서 로컬 브라우저 게임을 준비하거나, Oasis 500M 실행 가이드에서 이미지와 행동 파일로 video.mp4를 만들 수 있어요. 각각의 페이지는 해당 프로젝트에 필요한 실행 환경을 따로 설명해요.
용어 각주
프레임 — 영상의 한 장면을 이루는 단일 이미지입니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- 월드 모델은 지금 보이는 장면과 키 입력·카메라 이동 같은 행동을 받아 다음 프레임이나 환경 상태를 예측해요. 다만 게임 엔진에 신경 렌더러를 붙인 Matrix-Game, Atari 환경을 학습하는 DIAMOND, 정해 둔 행동 파일로 영상을 생성하는 Oasis처럼 구현과 실행 방식은 서로 달라요.
- 필요한 메모리는 어느 정도인가요?
- [Hunyuan-GameCraft](https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0)는 참조 이미지와 키보드식 카메라 행동을 받아 게임 같은 영상을 생성해요. 공식 Linux CUDA 경로는 단일 GPU 24GB를 최소 메모리로 적지만, 해당 설정은 매우 느리다고 안내해요.
- 선택하지 않는 편이 좋은 경우는 언제인가요?
- 짧은 영상을 저장하려는지, 브라우저에서 게임을 조작하려는지, 로봇 환경의 상태·행동을 다루려는지에 따라 첫 경로가 달라져요. 영상 파일을 먼저 확인하고 싶으면 시작 이미지와 action 파일을 요구하는 Oasis 안내를 따라가면 됩니다. 상호작용 가능한 게임 장면을 보고 싶으면 Matrix-Game의 엔진과 브라우저 데모 경로를 선택하세요. 모델 이름이나 공개 데모의 화면만 보고 실행 형태를 짐작하지 마세요.
- 조건과 출처는 어디서 확인하나요?
- [NVIDIA Cosmos3-Edge](https://huggingface.co/nvidia/Cosmos3-Edge)는 영상·이미지 생성과 물리 AI용 dynamics, policy 경로를 제공해요. 4B 모델 카드 안에서도 생성기와 추론기 작업이 나뉘므로, 게임 화면을 이어 만들고 싶은지 로봇 환경의 행동·상태를 다루려는지 먼저 구분해요.