영상 생성을 위한 멀티레벨 분포 매칭 'DuoMatching' 제시
Key Point
기존 영상 생성 기법의 품질 한계를 다층 분포 매칭으로 해결하는 새로운 방법론으로, 이미지 생성 기술의 강점을 영상 분야에 효과적으로 이전하는 핵심 기술을 보여준다.
핵심 요약
- 스트리밍 영상 생성에서 기존의 분포 매칭 증류(DMD) 기법은 비디오 프레임의 결합 분포를 교사 모델의 실제 분포 근사와 일치시켜 자회귀 롤아웃 중 표류를 완화하지만, 시각 품질과 의미 정렬의 한계가 있다.
- 이를 해결하기 위해 DuoMatching은 결합-한계 분포 매칭을 통해 실제 영상 분포를 근사하는 프레임워크를 제안하며, 기존 결합 매칭에 한계 매칭 목표를 추가해 이미지 생성기로부터 프레임 수준의 감독을 제공한다.
- LatentBridge는 비디오 학생 모델과 이미지 교사 모델 간의 잠재 표현 불일치를 해결하기 위해 도입되었으며, Latent Variation Sampling은 프레임 수준 감독을 시간 구간 전체에 분산시켜 중복성을 줄인다.