실시간 게임 월드를 자유롭게 조종하는 AI 에이전트 'Wizard'
원제 Wizard: Manipulate Any World in Real Time via Agentic Control
추천 24댓글 1
Key Point
기존 게임 AI는 특정 환경·캐릭터에만 작동했지만, Wizard는 학습하지 않은 상황에서도 작동하며 플레이어가 실시간으로 게임 세계를 조종할 수 있어 게임 생성 AI의 상용화 가능성을 크게 높인다.
핵심 요약
- 비디오 월드 모델의 발전으로 게이머가 커스터마이징할 수 있는 인터랙티브 가상 환경 생성이 가능해졌지만, 기존 접근법은 단순한 게임 설정만 지원하고 새로운 환경과 캐릭터에 제대로 일반화되지 않으며 실시간 인터랙션이 제한적이었다.
- Wizard는 에이전틱 게임 월드 모델로서 캐릭터 모션을 실시간으로 정밀하게 제어하면서도 미학습 장면, 캐릭터, 행동에 대해 영점 일반화(zero-shot generalization)를 달성한다.
- 750개 장면과 178개 캐릭터를 포함하는 다양한 데이터셋을 구축했으며, 이들에 스켈레톤과 지오메트리 정보 같은 구조화된 표현을 포함시켰다.
- 이러한 구조화된 표현을 비디오 생성 모델의 조건으로 사용하고, 조건 신호와 생성된 비디오의 정렬도를 높이는 적응형 마스킹 메커니즘을 도입했다.
- 에이전틱 프레임워크가 게임 상태를 명시적으로 유지하고 업데이트하므로, 플레이어는 가상 세계를 자유롭게 구성하고 캐릭터 모션을 세밀하게 제어할 수 있다.
- 구조화된 프록시 기반 생성과 에이전틱 제어를 결합하여 비주얼 품질과 게임플레이 일관성을 유지하면서 실시간으로 일반화 가능한 월드 시뮬레이션을 구현했다.