3D 세계의 이상을 찾아내는 AI 벤치마크 공개

핵심 요약

• 3D 시뮬레이션 환경에서 부유하는 물체, 통과 가능한 벽, 맞지 않는 객체 등의 이상을 자동으로 감지하는 것이 중요해지고 있다.
• 비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA) 같은 멀티모달 AI 시스템이 이 작업을 자동화할 가능성을 보여주고 있다.
• 3D 세계 감시는 행동 능력(3D 환경을 탐색하며 이상을 체계적으로 찾기)과 시각 추론 능력(환경을 이해하고 이상 식별)의 긴밀한 결합이 필요하다.
• 멀티모달 에이전트가 시각 추론으로 잠재적 이상을 식별하면서 동시에 이를 검증하는 행동을 취할 수 있는지는 크게 탐구되지 않았다.
• WorldAuditBench는 언리얼 엔진 5와 Three.js로 구축한 13개 환경의 213개 이상 작업으로 구성된 벤치마크다.
• 5가지 이상 유형(anomaly families)을 포괄하며, VLA 탐색 후 VLM 감지 방식과 시각 추론이 행동을 직접 유도하는 엔드-투-엔드 VLM 에이전트 방식 두 가지 패러다임으로 평가한다.
• 평가된 5개 최신 모델의 성공률은 6.6%~42.3%로 인간 성능 83.4%보다 훨씬 낮다.
• WorldAuditBench는 멀티모달 에이전트가 인터랙티브 3D 환경에서 행동과 시각 추론을 어떻게 결합하는지 연구하는 테스트베드를 제공하면서, 탐색 중 증거를 수집하고 해석하는 현재의 제한을 드러낸다.