공간 추론 AI, 경험 학습으로 성능 향상
원제 SpatialBrain: Spatial Intelligence Growing from Experience
추천 17댓글 2
Key Point
시각-언어 모델의 구조를 바꾸지 않으면서도 공간 추론 작업의 경험을 메모리에 저장해 성능을 높이는 새로운 방식으로, AI의 추론 능력 확장 방향을 보여준다.
핵심 요약
- 공간 추론은 기하학적 도구 접근만으로는 부족하며, 직접 관찰이 충분한 때와 재구성·측정·좌표 변환이 필요한 때를 판단해야 한다.
- SpatialBrain은 비전-언어 모델의 기본 구조는 유지하면서 공간 추론 경험을 축적하는 프레임워크다.
- 3DFusionMemory가 현재 장면의 관찰을 융합해 쿼리 가능한 공간 관계로 변환하고, Spatial Skill Library는 재사용 가능한 도구 절차를 제공한다.
- Spatial Cognition이 작업 조건을 메모리·스킬 활용 시점과 방식에 대한 경험과 연결한다.
- 완료된 작업 궤적을 프로세스 기록으로 추상화한 후 작업 블록 간 통합하면, 이전 장면 좌표나 정답 참조 없이 과거 실행 경험을 활용할 수 있다.
- 5개의 공간 추론 벤치마크에서 SpatialBrain은 동일 백본의 직접 답변보다 4개에서 성능을 높였고 1개에서 동일했다.
- 성분 비교, 경험 커버리지 곡선, 추적된 자원 사용 분석을 통해 프레임워크가 어떻게 자원을 축적하고 활용하는지 특성화했다.