동영상 초고화질화, 일반 GPU로 4K 실시간 처리 가능해졌다

핵심 요약

• 기존 동영상 초고화질화(VSR) 모델이 확산 증류를 통해 한 단계 생성으로 효율성을 높였으나, 고해상도 추론 비용이 크고 생성 결과가 사용자 선호와 맞추기 어려운 문제가 있었다.
• FlashVSR+는 하이브리드 어텐션 메커니즘을 도입해 사전학습된 VSR 모델의 강한 지역성(locality)을 활용하면서 장거리 일관성을 위해 희소 전역 상호작용을 유지한다.
• 이를 통해 DiT 속도를 최대 2배 높이고 피크 메모리를 45% 감소시켜, RTX 4090 24GB 단일 GPU에서 타일 분할 없이 4K 영상 초고화질화를 가능하게 했다.
• 훈련 측면에서는 보상 가중 교사 롤아웃을 활용해 블랙박스 보상 모델을 분포 매칭에 통합하되 역전파하지 않는 Reward-Yield Distribution Matching Distillation(Ry-DMD)을 제안했다.
• Ry-DMD는 사용자 선호에 맞춘 한 단계 생성을 실현하며, VSR을 넘어 T2I(텍스트-이미지) 생성까지 일반화된다.
• FlashVSR+는 더 강한 복원 품질과 함께 고해상도 효율을 크게 개선했으며, 사용자 선호도 평가에서도 지속적인 성능 향상을 보였다.
• 코드, 모델, 훈련 데이터는 www.flashvsr.tech에서 공개된다.