공간 추론 AI, 도구 없이도 학습 가능
원제 SpatialOPSD: Self-Distilling Spatial Intelligence from Verified Coding Agent Traces
추천 12댓글 2
Key Point
공간 추론 능력이 필요한 비전-언어 작업에서 외부 도구 의존을 제거하면서도 성능을 유지할 수 있다는 점이 중요하며, 자기 증류를 통한 에이전트 능력 내재화는 더 효율적인 AI 시스템 구축에 시사점을 준다.
핵심 요약
- 멀티모달 대형언어모델(MLLM)의 공간 추론 능력을 높이는 기존 방식은 외부 코딩 도구를 써야 해 추론 시간이 길고 외부 의존성이 높다.
- 연구팀은 MLLM이 도구 없이 공간 추론을 스스로 수행할 수 있는지 탐구했고, 검증된 코딩 에이전트의 실행 추적(trace)을 요약해 모델에 보여주면 내부 사고 과정이 활성화됨을 발견했다.
- 이를 바탕으로 SpatialOPSD라는 자기 증류(self-distillation) 프레임워크를 제안했으며, 검증된 에이전트 추적을 특권 정보로 취급해 모델에 공간 추론을 내재화한다.
- 증류 과정에서 특권 정보가 새어나가는 것을 방지하기 위해 반복 마스킹과 부가 정규화를 결합한 '반복 인식 증류(Repetition-Aware Distillation)' 기법을 도입했다.
- 여러 벤치마크에서 SpatialOPSD는 SFT, GRPO 방식보다 높은 정확도를 달성했으며 일반화 성능도 우수했다.