비디오 생성 모델의 카메라 흔들림 문제 해결 프레임워크 제안
원제 CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion
추천 22댓글 2
Key Point
비디오 생성 모델이 장시간 일관된 카메라 움직임을 유지하는 방법론을 제시해 실제 로봇 작업 성능까지 향상시킨 기술적 진전을 보여주기 때문이다.
핵심 요약
- 확산 기반 비디오 생성 모델(VGM)은 시각적으로 그럴듯한 영상을 만들지만, 카메라 시점 이동(ego-motion)이 긴 구간에서 흔들리는 문제가 있다.
- CausalAlign은 두 가지 요소로 구성된 인과 정렬 프레임워크로, 먼저 선형 프로브와 인과적 개입을 통해 VGM 내에서 ego-motion이 어떻게 표현·사용·유지되는지 진단한다.
- 진단 결과 노이즈 제거 과정에서 ego-motion 표현이 상승했다가 하강하는 패턴을 발견했다.
- 프레임워크의 두 번째 요소는 특정 레이어의 표현을 3D 기초 모델과 정렬하되, 연속 프레임 간 변화만 인코딩하는 델타 토큰 공간을 사용해 정적 장면 내용이 아닌 ego-motion 동역학에만 초점을 맞춘다.
- Wan2.2 모델을 DL3DV와 RealEstate10K 데이터셋으로 파인튠한 뒤 CausalAlign을 적용하면, 운동 정확도·기하학적 일관성·시간적 부드러움이 크게 개선되면서 시각적 품질은 보존된다.
- 기하학적 일관성은 기본 모델 대비 20% 이상 향상되었다.
- 로봇 조작 작업 벤치마크 RoboCasa365에서 파인튠된 VGM을 사용한 월드 액션 모델(WAM)의 성공률이 10포인트 증가했다.