실시간 스트리밍 영상 편집하는 SVEET 프레임워크
원제 Streaming Video Editing with Easy Adaptation
추천 13댓글 2
Key Point
영상 편집의 실시간 성능이 필요한 콘텐츠 제작 분야에서 기존 모델의 재학습 없이도 스트리밍 환경에 적응 가능한 방식을 제시한다.
핵심 요약
- 기존 양방향 비디오 확산 모델을 미세조정하여 자동회귀 방식의 스트리밍 영상 편집을 지원하는 SVEET을 제안했다.
- 백본 피처 분리와 조건부 프레임 독립성 두 가지 원칙을 적용하여 스트리밍 적응을 가능케 했다.
- 보조 모델 브랜치가 시간적으로 독립적인 셀프어텐션으로 소스 영상을 인코딩하고, 중간 피처를 백본 블록에 주입하는 구조다.
- 양방향 모델과 스트리밍 모델의 피처 공간 차이를 메우기 위해 분리된 훈련 스킴으로 두 목표 간 직교성을 강제한다.
- H100 GPU 하나에서 보조 가속 기법 없이 초당 15프레임의 실시간 성능을 달성한다.