Hugging Face 논문AI · 머신러닝

사용자 정의 규칙을 따르는 대화형 세계 생성 모델 등장

원제 WorldRuler: Interactive World Modeling under Configurable Rules

추천 21댓글 2Mingliang Zhai, Chuanhao Li, Jiaming Tan 외
Key Point

게임의 커스텀 규칙처럼 임의의 규칙을 따르는 생성 모델은 메타버스, 게임 개발, 대화형 AI 환경에서 필수인데, 규칙 보존과 정확한 시각 반영이라는 기술적 난제를 풀었다.

핵심 요약

  • 게임 규칙처럼 사용자가 정의한 규칙에 따라 가상 세계가 반응하도록 하는 WorldRuler 모델을 제안했다.
  • 기존 세계 생성 모델은 현실의 물리 법칙만 학습했으나, 커스터마이징된 게임플레이를 위해 임의의 규칙을 따라야 한다는 점이 핵심 과제다.
  • 규칙 정의와 세계 상태를 저장·복원할 때 규칙이 계속 유지되어야 하고(Rule-State Persistence), 규칙으로 인한 변화가 보이지 않은 객체까지 정확히 반영돼야 한다(Rule-to-Visual Realization).
  • WorldRuler는 규칙과 객체 상태를 실행 가능한 3D 그래프로 구성해 규칙 실행·영상 생성·피드백을 폐루프로 연결한다.
  • 동적 객체 바인딩으로 규칙에 지정된 개체를 시각 인스턴스에 연동시키고, 객체가 처음 나타날 때부터 저장된 상태로 생성을 제약한다.
  • 속성 상태 교체와 반사실적 재구성 학습으로 속성 제어와 외형·동작 변화를 정확하게 하면서 무관한 콘텐츠는 방해하지 않도록 한다.
  • GTA-V와 Habitat를 이용한 자동화된 데이터 수집으로 RuleVerse 데이터셋을 구축했으며, 규칙이 객체 출현 전에 작용하는 경우까지 포함한 상태·이벤트 주석을 제공한다.
  • 실험 결과 WorldRuler는 저장·복원 시 규칙-상태 일관성을 유지하고 지정된 객체와 속성에 규칙 결과를 정확히 적용한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗