텍스트·이미지·영상을 함께 쓰는 통합 비디오 편집 프레임워크
원제 OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
추천 20댓글 2
Key Point
여러 형태의 참조를 통합하는 비디오 편집 방식은 창작자의 의도를 더 유연하게 표현하게 해주며, 공개된 벤치마크는 이 영역의 평가 표준을 정립합니다.
핵심 요약
- OmniXRef는 텍스트 지시, 이미지 참조, 영상 참조를 조합하여 소스 비디오의 다양한 속성을 제어하는 통합 비디오 편집 프레임워크다.
- 참조 은행 인터페이스와 R²-RoPE를 도입하여 가변 개수의 참조를 지원하는 통합 입력 설계를 구현했다.
- OmniXRef-Model은 단일 스트림 확산 트랜스포머를 사용해 소스 비디오와 MLLM의 다중모드 맥락을 인터리브 수열로 처리한다.
- 비디오 참조 편집 학습 데이터 부족을 해결하기 위해 OmniXRef-Data를 구축했으며, 여러 편집 작업과 참조 조합에 대한 합성 파이프라인을 사용했다.
- 커리큘럼 학습으로 작업 복잡도와 해상도를 점진적으로 증가시켰다.
- 카메라, 모션, 콘텐츠, 스타일, 시각 효과(VFX)에 걸친 비디오 참조 속성 전이를 평가하는 OmniXRef-Bench 벤치마크를 도입했다.
- 종합 평가 결과 OmniXRef-Model은 작업별 특화 모델과 상용 모델을 모두 능가한다.