정적인 3D 장면을 무한 반복되는 영상으로, OuroWorld
원제 OuroWorld: Bringing Any 3D World Alive as Diverse, Endlessly Looping 3D Cinemagraphs
추천 42댓글 2
Key Point
정적인 3D 장면 생성의 한계를 극복하고 실시간 탐색 가능한 동적 시네마그래프를 만드는 기술로, 3D 콘텐츠 제작의 새로운 가능성을 열 수 있다.
핵심 요약
- 정적인 3D Gaussian Splatting 장면을 마스크 없이 동적인 3D 시네마그래프로 변환하는 OuroWorld 프레임워크를 제안했다.
- 비전-언어 모델이 장면에 적합한 동작을 유추하고 비디오 모델이 참조 비디오를 생성하며, 이를 다시점 비디오로 확장된다.
- Fourier 급수 변형 필드와 Grounded Drift Field를 결합한 Inconsistency-Robust Periodic 4DGS를 통해 완벽한 루프를 보장하면서도 다시점 간의 불일치를 흡수한다.
- 유체 유동만 가능한 기존 방식과 달리 일반적인 변형, 물체 이동, 조명 변화를 모두 캡처할 수 있다.
- 생생함, 자연스러움, 루프 이음새 일관성, 장면 품질을 평가하는 정답 없는 평가 지표를 도입했다.
- 39개의 재구성 및 생성 장면에서 모든 기존 방식을 능가했으며, 사용자 연구에서 70.8%-99.0%의 비교에서 우위를 차지했다.