나레이션으로 장편 비디오 자동 편집하는 AI 에이전트 WeVisCut

핵심 요약

• 나레이션에서 장편 비디오를 생성할 때 여러 샷 사이의 일관성을 유지하는 것이 과제인데, 기존 멀티 스테이지 에이전트는 일반 모델 기반으로 작동해 소형 모델의 성능-비용 트레이드오프가 불명확했다.
• WeVisCut는 스크립트를 비디오로 변환하는 시스템으로, 도구 실행과 정책 학습을 연결하며 에이전트가 공유 프로덕션 상태를 유지해 도구 피드백이 후속 결정과 오류 복구에 반영된다.
• 기존 완성 비디오에는 편집 의도가 노출되지 않으므로, 4단계 데이터 파이프라인이 편집 역변환(inversion)과 검증된 재생(replay)을 결합해 3,750개 영상에서 130K개 이상의 훈련 데이터를 추출한다.
• 9B 파라미터의 단일 정책 모델을 훈련해 같은 하네스 내에서 프로덕션을 조율하고 장애를 복구하도록 했다.
• 100개 과제와 5개 메트릭으로 편집 품질과 전달 신뢰도를 평가하는 벤치마크를 공개했다.
• WeVisCut는 기본 모델보다 크게 성능이 높으며, Claude Opus 5와 비슷한 성능을 달성하면서도 성공적인 산출물당 생성 토큰을 33배 이상 적게 사용한다.
• 작업별 네이티브 편집 도구들도 제안된 메트릭에서 능가했다.