과거 정보로 일관성 높인 장시간 영상 생성 모델
원제 History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
추천 16댓글 1
Key Point
긴 장면에서도 일관성 있는 영상을 생성하는 것이 영상 AI 모델의 핵심 과제인데, 이 논문이 제시한 History Forcing 방법이 화면 밖 재등장이나 60초 롱폼 생성에서 구체적 성능 개선을 이뤄냈기 때문이다.
핵심 요약
- 적은 단계의 자동회귀 비디오 확산 모델은 효율적인 생성이 가능하지만, 피사체나 장면이 화면 밖에 나갔다 다시 등장할 때 일관성을 유지하기 어렵다.
- 기존 증류 방법들은 역사적 정보를 충분히 활용하지 못해 학생 모델의 현재 예측을 제약하지 못한다는 한계가 있다.
- 이를 해결하기 위해 History Forcing이라는 통합 온폴리시 증류 프레임워크를 제안했다.
- 선생 모델의 과거 정보 포함 예측과 미포함 예측의 차이(잔차)를 이용해 감독 신호를 구성하며, 과거 정보는 누적 오차가 적은 이전 생성 청크나 장면을 계속 보이게 유지하는 고정 시점 선생 모델에서 얻는다.
- 잔차에 가중치를 부여해 스코어나 속도 예측에 더해 수정된 목표를 만들고, 학생 모델을 이 목표와 정렬시켜 장거리 역사적 제약을 자동회귀 생성에 통합한다.
- 1.3B 모델 중 최고 성능을 달성했으며, 15초 영상 생성에서 VBench 품질 스코어 85.07, 60초 생성에서 VBench-Long 통합 스코어 79.82을 기록했다.
- 화면 밖 세계 모델링 평가에서 PlayWorld의 진화 품질이 2.35에서 2.70으로, MemoBench의 물체 일관성이 58.43에서 62.18로 개선되어 더 그럴듯한 장면 진화와 카메라 복귀 시 일관된 상태를 보였다.