장시간 영상 생성 모델에 공간 기억 지능 더하다
원제 Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
추천 47댓글 1
Key Point
MLLM의 공간 이해 능력을 처음으로 체계적으로 메모리 관리에 적용해 장시간 영상 생성의 근본적인 한계를 푸는 새로운 접근이다.
핵심 요약
- 장시간 영상 생성과 월드 모델은 사용자 행동과 과거 기억을 바탕으로 미래 관측치를 예측해 상호작용 가능한 엔터테인먼트와 embodied simulation을 실현했으나, 메모리 길이가 길어지고 구조가 복잡해질수록 장거리 공간 맥락 관리가 어려워진다.
- Spatial Memory Intelligence(SMI)는 다중모드 대규모 언어 모델(MLLM)의 공간 추론 능력을 활용해 장시간 영상 월드 모델의 메모리 관리를 체계화한 첫 프레임워크다.
- SMI는 공간 클러스터링, 클러스터 내 스파시피케이션, 행동 기반 검색, 신뢰도 기반 필터링 4개의 조정된 원자 연산을 도입한다.
- 여러 기저선, 벤치마크, 월드모델 백본에 걸친 광범위한 실험에서 SMI는 메모리 스파시티, 생성 안정성, 공간 일관성에서 종합적 개선을 달성했다.