비전-언어 모델의 공간 추론 능력 평가 벤치마크 공개
원제 SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models
추천 11댓글 2
Key Point
현재 주류 시각-언어 모델들이 보이는 공간을 읽기만 하는 수준이며, 실제 공간 추론 능력에서 심각한 격차를 보이고 있기 때문이다.
핵심 요약
- 시각-언어 모델의 공간 추론 능력을 평가하는 첫 벤치마크 SpaceCast-Bench를 공개했다.
- 182개의 실제 장면에서 3,862개 질문으로 구성되며, 정적 인식·국소 예측·전역 예측의 3단계 16가지 과제를 포함한다.
- 기존 벤치마크는 입력에 이미 보이는 관계를 읽는 지각 능력만 테스트하지만, SpaceCast-Bench는 장면을 구성하고 개입의 결과를 예측하는 예측적 공간 추론을 직접 평가한다.
- 21개 모델 평가 결과 최고 성능 모델은 58.0%, 인간은 87.2% 정확도를 보였으며, 공간 특화 모델들은 무작위 수준에 머물렀다.
- 분석에 따르면 분산된 관찰을 통합하는 데 브릿지 뷰가 결정적이며, 생성된 결과 이미지나 비디오보다 명시적 3D 증거가 모델에 더 효과적이다.
- 프로그래매틱 방식의 데이터로 파인튜닝하면 Qwen3-VL-4B 성능이 34.0%에서 65.7%로 올랐고, 6개의 도메인 외 벤차마크에서도 평균적으로 개선되었다.