VLM이 3D 공간을 독립적으로 탐색 매핑할 수 있나

핵심 요약

• 비전-언어 모델(VLM) 에이전트가 자율적 탐색을 통해 정확한 3D 맵을 구성할 수 있는지 평가하는 벤치마크 SpatialScout을 제시했다.
• 80개 실내 장면과 3,140개 목표 객체로 구성되며, 에이전트는 카메라를 조종해 장면을 탐색하고 공유 좌표계에서 객체 중심을 추정해야 한다.
• 시점 선택, 교차 뷰 연관성 파악, 기하학적 추정, 맵 수정을 조율하면서 제한된 상호작용 예산 내에서 작업을 수행한다.
• 평가는 객체 스케일 겹침 점수를 통해 위치 정확도와 목표 커버리지를 함께 측정하며, 누락 예측에 페널티를 부여한다.
• 최고 성능 모델인 Claude Opus 5.5는 평균 겹침 점수 41.71%를 기록했으며, 목표의 47.23%만 IoU 0.5를 넘고 3.25%만 0.9를 초과했다.
• 결과는 대략적 객체 배치 복원과 완전하고 정밀한 메트릭 맵 구성 사이의 상당한 간격을 드러냈다.
• SpatialScout은 능동적 지각을 통해 신뢰할 수 있는 3D 공간 표현을 구축하는 에이전트 개발을 위한 정량적 테스트베드를 제공한다.