비디오 세계 모델 WorldCrafter, 3D 메모리로 긴 시간 일관성 확보
원제 WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
추천 109댓글 3
Key Point
비디오 생성 AI의 가장 큰 약점인 시간적 일관성 문제를 3D 메모리 구조로 근본적으로 해결하는 접근법으로, 향후 인터랙티브 비디오 생성 시스템의 품질을 크게 개선할 수 있는 기술이다.
핵심 요약
- 비디오 세계 모델이 장시간 여러 시점에서 일관된 장면을 생성하기 어려운 문제를 해결하는 WorldCrafter 모델을 제시했다.
- 요청한 시점에 따라 과거 관찰 데이터를 3D 인식 메모리로 압축해 비디오 생성 모델의 토큰 제약을 효율적으로 활용한다.
- 메모리 인코더와 포즈 조건 읽기 모듈이 역사 정보를 시점별 토큰으로 통합하되, 명시적 깊이 대응 없이 학습된다.
- 한 장 이미지나 텍스트 프롬프트에서 시작해 실시간으로 장면을 탐색할 수 있으며, 정적·동적 장면 모두에서 분 단위 탐색 중 시각 품질을 유지한다.