시각 모델도 '다각도로 생각한다'…공간 추론 학습법 제시
원제 SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
추천 18댓글 2
Key Point
거대 비전-언어 모델이 공간 추론 시 인간처럼 다각도 사고를 할 수 있도록 만드는 실질적인 학습 방법론을 제시해 모델 기반 시각 이해의 한계를 구체적으로 개선한다.
핵심 요약
- 인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다.
- 연구팀은 이를 '능동적 공간 심상화(Active Spatial Mentalization, ASM)'라 정의하고, LVLM에 이 능력을 내재화하는 SpatialASM 프레임워크를 제시했다.
- SpatialASM은 학습 단계에서 시뮬레이션된 다양한 시점으로 학습하며, 할로센트릭(allocentric) 뷰 생성 모델을 사용해 가설적 시점을 실제 시각 데이터에 근거하게 한다.
- 모델에 두 가지 감독 신호를 제공한다: 언제 어떻게 뷰 계획을 세울지 가르치는 명시적 ASM 궤적, 그리고 시점 변환 능력을 강화하는 자동 생성 관점 전환 작업이다.
- 7개 벤치마크(단순 공간 이해부터 다중 이미지 교차 시점 추론까지)에서 4가지 LVLM 백본을 테스트한 결과 공간 추론 성능이 향상되었으며, 기존 일반 시각 능력도 유지했다.
- ASM 궤적 합성은 공간 Chain-of-Thought 감독 신호의 부족 문제를 완화하고, 모델이 능동적으로 시점 탐색과 심상 장면 시뮬레이션을 수행하도록 유도하는 확장 가능한 방법을 제공한다.