비디오 모델로 실시간 게임 세계 만든다
원제 Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds
추천 185댓글 2
Key Point
비디오 생성 AI가 게임처럼 상호작용하는 실시간 환경으로 확장되는 전환점을 보여주며, 엔진과 렌더러 분리로 확장성과 성능을 동시에 확보한 방식이 앞으로의 AI 게임 개발 방향을 시사한다.
핵심 요약
- 영상 생성을 넘어 지속적인 게임 상태와 규칙을 유지하는 진정한 게임 세계 구현을 목표로 게임 실행 엔진과 시각화 생성을 분리하는 Matrix-Game 4.0을 발표했다.
- 경량 게임 엔진이 월드 상태와 인터랙션 규칙을 관리하고, 멀티모달 AI 코딩 에이전트가 플레이어의 자연어 입력을 게임 코드로 번역하며, 자동 회귀 비디오 모델 기반 렌더러가 저폴리 프록시를 상세한 영상으로 변환한다.
- 렌더러는 저폴리와 고충실도 영상 쌍으로 학습되었으며, 4프레임 단위로 1~2단계 노이징으로 작동하는 인과 생성기로 증류되어 추론을 최적화했다.
- 단일 RTX5090 GPU에서 480p 60FPS 게임플레이를 달성하며 키 입력에서 화면 표시까지 112ms의 레이턴시를 제공한다.
- 1단계 생성 모드에서는 83FPS 처리 속도를 보이며 GPU 메모리 18.2GiB를 사용한다.
- RTX5080에서 67FPS, RTX5070Ti에서 58FPS의 처리 속도를 확인했다.
- 게임 엔진이 강제하는 슈팅과 드라이빙 게임으로 커스터마이징 가능성을 시연했으며, 코드, 모델 가중치, 저폴리 게임 에셋을 공개했다.