AI 에이전트의 '실행 가능한 3D 세계' 만드는 능력을 평가하는 벤치마크 공개

핵심 요약

• 코딩 에이전트가 단순히 세계를 시각화하는 것을 넘어, 물리 법칙과 인과관계에 따라 동작하는 실행 가능한 코드 기반 세계를 구축하는 능력이 요구되고 있다.
• 기존 벤치마크는 물리 추론, 시각적 충실도, 행동 정확성을 각각만 평가했으나, 이 세 가지를 통합적으로 평가하지 못했다.
• 이를 해결하기 위해 ExeWorldBench라는 첫 번째 포괄적 벤치마크를 제시했으며, 코드 기반 3D 세계 구축을 통해 세계 이해와 실행 가능한 구현을 평가한다.
• 벤치마크는 세 가지 점진적 난제로 구성된다: (1) 시각 관찰에서 개별 메커니즘 실현을 평가하는 '메커니즘 실행성', (2) 공간·기계·인과 의존성을 가진 다단계 시스템으로 확장하는 '합성 실행성', (3) 고수준 목표와 물리 요구사항에서 실행 가능한 세계를 구축하는 '의도 기반 실행 가능 세계 합성'이다.
• 최첨단 언어 모델들을 대상으로 한 광범위한 실험 결과, 실행 가능한 세계 모델링에 상당한 한계가 드러났으며, 이는 더욱 물리적으로 근거 있고 인과적으로 일관된 세계 구축 시스템 개발에 통찰력을 제공한다.