MLLM도 3D 상상력이 필요하다 - 다중뷰 이해의 새 방법
원제 Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering
추천 53댓글 1
Key Point
다중뷰 3D 이해라는 MLLM의 핵심 약점을 인간의 추론 방식으로 해결하는 새로운 접근으로, 구조화된 3D 표현 학습이 모델 전체의 기하 인식을 높이는 메커니즘을 제시한다.
핵심 요약
- 멀티모달 LLM(MLLM)이 다중 이미지로부터 3D 공간을 이해하는 것이 근본적 과제인 가운데, 기존 방식은 화소 단위 대응이나 3D 기하 모델 통합을 시도했지만 인간의 추론에는 미치지 못했다.
- 본 연구는 인간의 공간 추론 방식에 영감을 받아, 세밀한 기하 단서보다는 뷰 간 공통 객체 인식 → 상대 기하 추론 → 장면의 대략적 3D 배치 조립 과정을 모방한다.
- Imagine3D-LLM은 이미지 토큰 뒤에 학습 가능한 요약 토큰 집합을 추가하고, 이를 3D 가우시안 스플래팅 표현으로 복원한다.
- 광도 기반 복원 손실함수로 감독하며 다음 토큰 예측 목표와 함께 학습하는데, 요약 토큰만 직접 복원 감독을 받음에도 MLLM 내부 이미지 특성 간 프레임 간 대응이 강화된다.
- 이는 복원 학습이 모델 전체에 3D 인식 신호를 전파함을 시사한다.
- 결과적으로 Imagine3D-LLM은 공간 추론과 3D 이해 벤치마크에서 기존 방식을 일관되게 앞서며, 기하를 직접 제시받는 것보다 장면을 상상하는 것이 더 효과적임을 보여준다.