AI 코딩 에이전트, 게임 월드 편집 능력 평가받다

핵심 요약

• 연구팀이 상호작용형 월드 모델이 기존 실행 가능한 환경을 의도적으로 편집하는 능력을 평가하는 'world editing' 개념을 제시했다.
• 편집의 복잡도를 '중개 깊이(intervention depth)'로 정의했으며, 이는 월드의 엔티티, 동역학, 시스템이 얼마나 강하게 결합되는지를 나타낸다.
• 마인크래프트와 테라리아를 기반으로 110개 과제와 1,100개 이상의 실행 가능 상태·행동 기준을 포함한 IGMBench 벤치마크를 구축했다.
• 과제는 속성·엔티티·동역학·시스템 편집을 아우르며, 실행 가능성·행동·보존·시각적 검사를 통해 평가된다.
• 최강 구성의 AI 코딩 에이전트는 엄격한 기준에서 78.2%, 기준 수준에서 94.8%의 과제를 해결했다.
• 중개 깊이가 깊어질수록 신뢰성이 감소했으며, 평가 기준 수가 비슷한 과제 간에도 이 패턴이 유지되었다.
• 실패한 편집의 대부분은 빌드·로드에는 성공했으나 원하는 동작을 하지 못했으므로, 주된 어려움은 행동 수정에 있다.
• 모든 평가 대상에서 시각적 일관성은 50% 미만의 통과율로 별개의 약점으로 나타났다.
• 연구 결과는 월드 편집이 월드 생성·상호작용과는 별개의 능력이며, 실행 가능한 게임이 이를 연구하기 위한 실용적 테스트베드임을 보여준다.