VLM에 세계 모델 통합, 공간 추론 성능 39% 향상

핵심 요약

• 인간이 시각적 변환을 정신적으로 시뮬레이션해 공간 문제를 푸는 것과 달리, 기존 시각언어모델(VLM)은 주로 언어로만 추론한다.
• 텍스트와 생성된 시각 상태를 모두 활용해 공간 문제를 해결할 수 있는 VLM을 만들기 위해 WM-VLM을 제안했다.
• WM-VLM은 사전학습된 VLM에 가벼운 세계 모델 브랜치를 추가해 중간 시각 상태를 생성한다.
• 2단계 학습으로 먼저 다음 시각 상태를 생성하도록 훈련한 뒤, 그 상태를 질문 답변에 활용하도록 학습시킨다.
• 2D·3D 회전 과제로 검증을 위해 중간 시각 상태가 명확한 공간 추론 작업을 프로그래매틱하게 구성했다.
• WM-VLM은 감독 학습으로 미세조정한 기존 모델 대비 최대 39.25%포인트 성능 향상을 보였다.
• 소거 실험 결과 성능 향상은 생성된 시각 상태에 의존하며, 이를 제거하거나 손상시키면 성능이 크게 떨어진다.
• 내부 세계 모델이 언어와 시각 공간 모두에서 추론하는 VLM 개발의 유망한 방향임을 시사한다.