AI 모델의 공간 지능 측정하는 'TuringSpace' 벤치마크 공개
원제 TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs
추천 23댓글 2
Key Point
대형언어모델이 추론과 행동을 통해 공간을 이해하는 방식을 측정·개선하는 새 벤치마크로, 현재 AI의 공간 지능 한계를 명확히 드러내고 학습 효과가 실제 세계로 전이된다는 점이 중요하다.
핵심 요약
- 인간은 2D 화면 속 3D 공간을 추론하고 액션으로 변화를 예측한 뒤 결과를 보고 자신을 수정하는 방식으로 행동하는데, 멀티모달 대형언어모델(MLLM)이 이를 할 수 있는지 묻는 연구다.
- CAPTCHA를 활용해 5가지 공간 능력을 테스트하는 125개의 인터랙티브 과제로 이루어진 'TuringSpace'라는 합성 웹 환경을 개발했으며, 모든 과제는 프로그래밍된 작업으로 새 인스턴스를 생성하고 검증할 수 있어 확장 가능한 학습 환경을 제공한다.
- 인간은 94.1% 성공률을 보이는 반면 GPT-6 Astra는 25.9% 실패, 오픈 모델 중 최고인 Kimi K3는 68.0% 실패율을 기록했다.
- 대부분의 실패 원인은 스크린샷을 잘못 읽는 것이었으며, 모델들은 틀린 믿음을 수정하지 못하고 오히려 그것을 옹호하는 증거를 환각으로 만들어낸다.
- Qwen3.5-9B을 TuringSpace로 미세조정한 결과 성공률이 1.6%에서 33.1%로 올라가 Kimi K3를 넘었고, 실제 실내 비디오 벤치마크인 VSI-Bench에서 9.9포인트 향상을 보였다.
- 이는 화면 기반 액션을 통해 공간 지능을 학습하면 MLLM의 부족한 점이 드러나며, 이러한 능력 학습이 실제 환경으로도 전이된다는 점을 보여준다.
- 연구진은 TuringSpace를 공개 릴리스할 계획이다.