AI 코딩 에이전트, 게임 월드 편집 능력 평가받다
Key Point
게임 환경 편집이 AI의 새로운 평가 지표로 대두되면서, 현재 코딩 에이전트가 정확한 행동 수정에는 여전히 약한 것으로 드러났다.
핵심 요약
- 연구팀이 상호작용형 월드 모델이 기존 실행 가능한 환경을 의도적으로 편집하는 능력을 평가하는 'world editing' 개념을 제시했다.
- 편집의 복잡도를 '중개 깊이(intervention depth)'로 정의했으며, 이는 월드의 엔티티, 동역학, 시스템이 얼마나 강하게 결합되는지를 나타낸다.
- 마인크래프트와 테라리아를 기반으로 110개 과제와 1,100개 이상의 실행 가능 상태·행동 기준을 포함한 IGMBench 벤치마크를 구축했다.