숨은 상태까지 관리하는 게임형 AI 비디오 생성 시스템
원제 State World Models: Execute the Rules, Generate the Pixels
추천 12댓글 2
Key Point
기존 AI 비디오 생성 모델들은 화면에 보이지 않는 게임 상태를 제대로 추적하지 못하는데, 이 논문은 상태 관리 시스템을 도입해 규칙 준수율을 32%에서 92%로 끌어올린 방법을 제시한다.
핵심 요약
- 기존 비디오 생성 AI는 단일 이미지에서 카메라 움직임을 중심으로 영상을 생성하지만, 화면에 보이지 않는 상태(hidden state)에 따라 결과가 달라지는 상호작용을 제대로 처리하지 못한다.
- Stateful Harness는 세계 상태 관리와 비디오 렌더링을 분리하는 프레임워크로, 정해진 규칙에 따라 세계 상태를 진화시키고 각 단계마다 비디오 모델로 장면을 생성한 뒤 다음 턴의 상태 업데이트에 활용한다.
- 사용자가 선택한 행동을 해석하고 3D 씬의 미리보기를 통해 공간과 카메라 위치를 제시하며, 생성된 비디오 클립으로 다시 세계 상태를 갱신하는 순환 구조를 갖춘다.
- 규칙 준수를 평가하기 위해 같은 초기 프레임과 행동을 가지되 숨은 상태와 필요한 결과가 다른 50개의 쌍으로 구성한 WorldState-Bench 벤치마크를 구축했다.
- 규칙 기반 프롬프팅만으로는 평가한 11개 비디오 백엔드 중 최고 성능 모델(MiniMax-H3)이 양쪽 케이스 모두에서 올바른 결과를 생성한 비율이 32%에 불과했다.
- 필요한 결과를 명시적으로 지정하면 MiniMax-H3의 정확률이 32%에서 64%로 올라가며, 전체 Stateful Harness를 사용하면 같은 모델로도 92%에 도달한다.
- 연구 결과는 숨은 상태가 있는 세계 상호작용에서 규칙 실행과 비디오 렌더링을 분리하는 것의 효과를 입증한다.