비전-언어 모델이 3D 공간을 직접 탐색하며 추론하는 방법

핵심 요약

• 시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다.
• 초기 질문과 첫 번째 관점에서 시작한 뒤, 모델이 반복적으로 추론하고 이동·회전 같은 행동을 통해 시점을 변경하며 최종 답변을 제출하는 방식입니다.
• 궤적 감독 미세조정 후 강화학습(RL)을 적용했으며, 보상은 최종 답변 정확도로만 주어져서 모델이 어떤 시점을 방문할지는 스스로 학습합니다.
• 6가지 3D 벤치마크에서 ACT3D 모델이 평균 53.2% 정확도를 달성해 기본 Qwen 모델 대비 22.0% 향상했고, 상용 Gemini 3.6 Flash를 능가했습니다.
• 기존 오픈소스 3D 방법보다 50~70% 적은 프레임을 사용하면서도 더 나은 성능을 보였고, 미학습 도메인으로도 5.9%의 평균 개선을 일반화했습니다.
• 성능 향상폭은 초기 시점만으로 답할 수 있는 질문에선 0.6%이지만, 광범위한 탐색이 필요한 질문에선 16.3%에 달해 능동적인 탐색이 효과적임을 보여줍니다.
• 모델은 가려진 목표물을 찾고 불필요한 탐색을 피하며 공간 비교를 위해 보완적 시점을 획득하는 질문별 적응 탐색 정책을 학습했습니다.
• 결과는 결과 기반 강화학습이 VLM으로 하여금 시각 정보를 추론할 뿐 아니라 언제 어떻게 시각 정보를 확보할지를 배우게 한다는 것을 시사합니다.