Hugging Face 논문AI · 머신러닝

영상 편집 자동화 평가하는 벤치마크 'RoughCut-Bench' 공개

원제 RoughCut-Bench: A Benchmark for Automatic Video Rough-Cut with Large Vision-Language Models

추천 10댓글 3Ruisi Zhao, You Li, Sihan Chen 외
Key Point

영상 편집은 미디어 제작의 핵심 단계이지만 아직 자동화 평가 기준이 없었는데, 이 벤치마크가 LVLM의 편집 능력을 체계적으로 측정할 수 있게 해준다.

핵심 요약

  • 영상 미디어 제작 초기 단계인 '러프컷'(원본 영상을 조직화한 초안)을 자동으로 수행하는 대규모 비전-언어 모델(LVLM) 평가를 위해 RoughCut-Bench 벤치마크를 제안했다.
  • 벤치마크는 두 가지 실무적 설정을 포함한다: 영상 중심 설정은 101개 사례에 831개 원본 영상과 1,476개 하이라이트 주석을 담고 있으며, 하이라이트 감지·선택, 소스 영상 정렬, 사용자 요구사항 준수를 다룬다.
  • 음성 중심 설정은 84개 사례로 구성되며, 자동 음성 인식(ASR) 텍스트에서 필러 제거, 표현 중복 제거, 저가치 콘텐츠 트리밍을 평가한다.
  • LVLM이 자동 러프컷을 수행하도록 가이드하는 에이전트 워크플로우를 제시하여 입력 자료로부터 구조화된 편집 계획을 생성하도록 한다.
  • 실험 결과 현재의 LVLM은 전문가 수준의 편집 계획 생성에 여전히 한계가 있다.
  • 벤치마크, 코드, 프롬프트는 프로젝트 페이지에서 공개되었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗