비디오 생성 모델을 3D 기하학으로 정밀 제어하는 4Director
원제 4Director: Controlling Video World Models with Rigid 3D Geometry
추천 22댓글 2
Key Point
3D 기하학 기반 명시적 제어 방식으로 비디오 생성에서 카메라·물체 움직임의 정확도를 근본적으로 높였으며, 신규 데이터셋과 평가 지표까지 공개해 후속 연구의 기초가 될 수 있다.
핵심 요약
- 비디오 프로덕션에서 카메라와 물체의 동작을 정확히 제어하기 위해 4Director라는 비디오 월드 모델을 제안한다.
- 기존 방식은 깊이와 회전이 모호한 이미지 평면 신호나 기하학이 불완전한 3D 트랙으로만 제어했지만, 4Director는 명시적 4D 장면 표현을 사용한다.
- 각 객체를 입력 이미지에서 정준 메시(canonical mesh)로 한 번 재구성한 후 매 프레임마다 정해진 강체 변환(rigid transformation) 하나로 움직인다.
- 제어된 장면을 깊이 비디오로 렌더링하고, Motion Adapter가 이 기하학적 구조를 비디오로 변환하면서 시점 일관성 있는 외관·조명·비강체 동역학을 합성한다.
- 학습을 위해 자동 파이프라인으로 강체 3D 장면을 주석한 RealCOD-Rigid 데이터셋(20,774개 클립)을 구축했다.
- 처방된 물체 동작 준수와 물체 정체성 보존을 함께 평가하는 새로운 지표 Identity-Gated IoU(IG-IoU)를 도입했다.
- 4Director는 시각적 품질, 카메라 제어, 물체 제어 모두에서 기존 방법을 능가한다.