실시간 무한 세계 생성, 3D 가우시안 메모리로 해결

핵심 요약

• 사용자 행동에 따라 시각 콘텐츠를 생성하는 인터랙티브 월드 모델에서 장기간 탐색 시 공간 일관성을 유지하기가 어려운 상황을 다룬다.
• 기존 방식은 시간적 맥락이나 명시적 3D 메모리에 의존하지만 생성 스트림 길이에 따라 메모리가 증가해 확장성이 떨어진다.
• 또한 명시적 3D 메모리는 RGB 렌더링을 다시 인코딩해 잠재 비디오 생성기를 조건화하므로 실시간 생성이 불가능하다.
• 이를 해결하기 위해 Latent 3D Gaussian Memory(L3G)를 제안하며, 피드포워드 재구성의 효율성과 빠르게 렌더링 가능한 장면 표현을 결합한다.
• L3G-World는 메모리 업데이터와 비디오 디퓨전 트랜스포머(DiT)가 자동 회귀적으로 번갈아 가며 공간적으로 일관된 세계를 생성한다.
• 메모리 업데이터는 새로 관찰된 영역에서 가우시안을 생성하고 기존 것을 개선하므로 메모리가 스트림 길이가 아닌 장면 범위에 따라 증가한다.
• 각 가우시안은 VAE 잠재 특성을 저장해 메모리를 VAE 재인코딩 없이 DiT의 잠재 공간으로 직접 렌더링할 수 있다.
• 실험 결과 기존 최고 효율 3D 메모리 방식 대비 3D 원시형 38.6배 감소, 메모리 업데이트 3.2배 빠른 속도, 메모리 렌더링 359배 빠른 속도를 달성했다.
• 초당 9 프레임의 실시간 세계 생성이 가능하며 장기간 공간 일관성과 생성 품질에서 최고 수준의 성능을 보인다.