Kandinsky 6.0 Video, 텍스트로 음성 동기화 영상 생성
원제 Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
추천 117댓글 3
Key Point
음성과 영상이 완벽하게 동기화된 멀티모달 생성 기술이 오픈소스로 공개되어 영상 제작 자동화와 멀티미디어 연구를 가속할 수 있게 되었습니다.
핵심 요약
- Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델.
- 경량 버전(3B 파라미터)과 고성능 버전(29B 파라미터) 두 종류로, 5초 영상과 44 kHz 음성을 립싱크 포함해 생성.
- 텍스트-오디오-비디오(T2AV)와 이미지-오디오-비디오(I2AV) 모드 지원하며, 내장 초해상화로 1920×1080 풀HD 출력 가능.
- 선행 비디오 스트림과 새로 학습한 오디오 스트림을 양방향 교차 주의로 연결하는 이중 CrossDiT 아키텍처 사용.
- 오디오 스트림을 대규모 오디오 데이터로 먼저 학습한 후, 단일 모드 충실도를 유지하며 쌍을 이룬 오디오-비디오 데이터로 함께 학습하는 지속적 사전학습 전략 적용.
- 지도 미세조정, 강화학습 기반 사후 학습, 증류를 거쳐 완성.
- 인간 평가에서 Kandinsky 6.0 Video Pro가 전작 5.0을 능가했으며, 특히 음성 품질에서 최신 오디오-비디오 생성 모델과 경쟁력 있는 수준.
- 코드, 모델 체크포인트, Diffusers 통합을 MIT 라이선스로 공개.