VLM의 "빠른 사고": 공간 추론을 분류 문제로 재구성
원제 MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
추천 354댓글 2
Key Point
공간 추론 같은 제약된 답변 공간 작업을 분류로 바꾸면 자동 회귀 생성의 지연 없이 단일 포워드 패스로 정확하게 풀 수 있으며, 이는 로봇 제어나 실시간 상호작용이 필요한 애플리케이션의 성능 개선으로 이어진다.
핵심 요약
- 비전-언어 모델(VLM)이 공간 관계, 거리, 위치 같은 질문에 자동 회귀 방식으로 텍스트를 생성하는 것은 비효율적이다. 이에 MJev-Spatial은 공간 이해 작업을 통일된 분류 프레임워크로 재구성한 System 1 모델이다.
- 선택 문제는 주어진 옵션을 클래스로, 수치 예측은 값 범위를 이진 분류 단계로, 점 예측은 이미지 영역을 단계적으로 분류하는 방식이다.
- 기존 VLM의 쿼리-키 사영을 재사용해 추가 파라미터 없이 후보를 점수 매기므로, 추론 시 단 한 번의 포워드 패스로 답을 내놓고 답변 토큰을 생성하지 않는다.
- 12.3M 개의 질답 쌍으로 Qwen2.5-4B 기반 모델을 훈련할 때, 이질적 공간 데이터를 효율적으로 처리하기 위해 교사 강제(teacher forcing)와 길이 인식 글로벌 배칭, GPU 간 로드 밸런싱을 사용했으며 처리량이 30.8% 향상되었다.
- 벤치마크 12개 중 7개에서 1위, 전체 점수 65.64%로 테스트 모델 8개 중 최고였고, 기존 자동 회귀 베이스 모델과 비교하면 모든 12개 벤치마크에서 앞서면서도 2.5배 빠르고, 가장 빠른 자동 회귀 베이스라인보다는 5.6배 빠르다.