멀티모달 AI의 공간 추론 메커니즘 규명

핵심 요약

• 멀티모달 언어 모델의 공간 추론 능력은 입증되었으나 내부 작동 원리는 미지의 영역이었다.
• 연구팀이 'S-Space'라는 선형 표현 부분공간을 발견했으며, 여기에 객체 토큰이 가로·세로·거리 축을 따라 연속적 좌표로 인코딩된다.
• S-Space는 특정 데이터나 프롬프트로 유도되지 않고 모델에 내재되어 있으며, 공간과 무관한 질문에서도 판독 가능하다.
• 모델의 지각은 객체 위치를 S-Space에 인코딩하고, 이는 정확한 공간 판단을 직접 지원하는 공간 표현을 형성한다.
• 내부 추론은 시점 변화에 대응하도록 S-Space를 변환하며, 인과적 개입 실험으로 공간 판단을 선택적으로 변경할 수 있음을 입증했다.
• S-Space는 미지의 객체와 관찰자에 위치를 할당하고, 방향 단어를 추상적 의미와 연결하여 대규모 언어 학습의 능력과 한계를 드러낸다.
• 방향 단어 판독값으로 기본 방향과 이미지 상대 기준계 사이의 체계적 결합을 확인했다.
• 핵심 병목현상은 모델이 공간 표현은 형성할 수 있으나 시점 변화에 따른 공간 변환 추론에서 부족하다는 점이다.