사용자 정의 규칙을 따르는 대화형 세계 생성 모델 등장
원제 WorldRuler: Interactive World Modeling under Configurable Rules
추천 21댓글 2
Key Point
게임의 커스텀 규칙처럼 임의의 규칙을 따르는 생성 모델은 메타버스, 게임 개발, 대화형 AI 환경에서 필수인데, 규칙 보존과 정확한 시각 반영이라는 기술적 난제를 풀었다.
핵심 요약
- 게임 규칙처럼 사용자가 정의한 규칙에 따라 가상 세계가 반응하도록 하는 WorldRuler 모델을 제안했다.
- 기존 세계 생성 모델은 현실의 물리 법칙만 학습했으나, 커스터마이징된 게임플레이를 위해 임의의 규칙을 따라야 한다는 점이 핵심 과제다.
- 규칙 정의와 세계 상태를 저장·복원할 때 규칙이 계속 유지되어야 하고(Rule-State Persistence), 규칙으로 인한 변화가 보이지 않은 객체까지 정확히 반영돼야 한다(Rule-to-Visual Realization).
- WorldRuler는 규칙과 객체 상태를 실행 가능한 3D 그래프로 구성해 규칙 실행·영상 생성·피드백을 폐루프로 연결한다.
- 동적 객체 바인딩으로 규칙에 지정된 개체를 시각 인스턴스에 연동시키고, 객체가 처음 나타날 때부터 저장된 상태로 생성을 제약한다.
- 속성 상태 교체와 반사실적 재구성 학습으로 속성 제어와 외형·동작 변화를 정확하게 하면서 무관한 콘텐츠는 방해하지 않도록 한다.
- GTA-V와 Habitat를 이용한 자동화된 데이터 수집으로 RuleVerse 데이터셋을 구축했으며, 규칙이 객체 출현 전에 작용하는 경우까지 포함한 상태·이벤트 주석을 제공한다.
- 실험 결과 WorldRuler는 저장·복원 시 규칙-상태 일관성을 유지하고 지정된 객체와 속성에 규칙 결과를 정확히 적용한다.