긴 영상도 한 번에, 다중 장면 편집 프레임워크 MoviEdit 공개

핵심 요약

• Hugging Face와 연구진이 장편 다중 장면 비디오 편집을 위한 MoviEdit 프레임워크를 발표했습니다.
• 기존 단일 장면 편집과 달리 장면 전환, 카메라 각도, 피사체 모습의 급격한 변화 속에서도 편집 의도를 일관되게 유지해야 한다는 도전 과제를 해결합니다.
• 다중 시점 동기화 영상, 실제 다중 장면 비디오, 생성된 콘텐츠로부터 87K개의 쌍을 이루는 편집 비디오 데이터세트를 수동 작업 없이 자동 생성했습니다.
• 구조적으로는 양방향 자동회귀 설계를 사용합니다: 먼저 압축된 표현 위에서 전체적으로 일관된 편집 초안을 만든 후, 이를 전체 영상에 걸쳐 자동회귀적으로 전파하고 개선합니다.
• 장편 다중 장면 비디오 편집 평가를 위한 MoviEdit-Bench 벤치마크도 함께 제시합니다.
• 텍스트 기반 편집과 이미지 기반 편집 모두에서 기존 오픈소스 모델들을 상당히 뛰어넘고, 산업 최고 수준의 모델과 동등한 성능을 보입니다.