비전-언어 모델의 3D 공간 추론 능력을 평가하는 RoTA-Bench 공개
원제 RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment
추천 202댓글 2
Key Point
GPT-4o 같은 최신 모델도 3D 공간 추론과 정밀한 조작에서 인간과 큰 격차를 보이고 있으며, 이는 멀티모달 AI의 실제 응용 한계를 드러낸다.
핵심 요약
- 비전-언어 모델이 2D 이미지에서 3D 공간 이해로 전환할 수 있는지 평가하는 벤치마크 RoTA-Bench를 개발했다.
- 목표 실루엣이 주어질 때 회전된 물체를 관찰하고 연속적인 회전 조작으로 목표 투영을 복구하는 방식으로 평가한다.
- 자동화된 파이프라인으로 2D 아이콘에서 3D 물체를 생성하고, 가역적 초기화로 해결 가능성을 보장해 674개 작업과 100개 테스트셋을 구축했다.
- GPT-5.6-Sol은 작업의 17%만 성공했지만, 20명의 대학생 참가자는 100% 성공률로 테스트셋을 4회 완성했다.
- 모델은 같은 상태에서 실루엣 겹침을 개선하면서 자세 정렬을 악화시키는 경향이 인간(19.4% vs 10.9%)보다 높게 나타났다.
- 상호작용 이력을 제거하면 모델 행동의 96.8%가 30도 단위로 제한되고 작업 성공률이 급감했다.
- 결과는 개별 이미지 인식을 넘어 시각 정보를 정밀한 3D 제어로 전환하는 것이 도전 과제임을 보여준다.