동영상을 선택적으로 관찰하는 AI 자막 생성 시스템

핵심 요약

• 멀티모달 대규모 언어 모델(MLLM)이 영상 자막을 생성할 때 사소한 세부 사항을 과도하게 강조하고 핵심 맥락을 놓치는 문제가 있다.
• Reviso는 관찰 대상과 수집 방식을 학습하는 에이전트형 동영상 자막 시스템으로, 낮은 프레임율의 전체 미리보기에서 계층적 Context-Focus-Points(CFP) 계획을 세운다.
• CFP 계획은 영상 맥락을 파악하고 핵심 요소를 우선순위화한 뒤 구체적인 관찰 대상과 해당 도구를 정의한다.
• 이 계획에 따라 Reviso는 시간대를 선택적으로 재검토하고 도구를 결합하여 세밀한 검사를 수행한다.
• 획득한 증거를 해석하고 필요시 계획을 업데이트한 뒤 전역·국소 정보를 통합하여 최종 자막을 생성한다.
• 관찰 전략을 학습하기 위해 검증 기반 파이프라인으로 사실 검증과 교사 가이드 정제를 통해 고품질 학습 궤적을 구성한다.
• Group Relative Policy Optimization(GRPO)을 사용해 학습하며, 자막 품질 평가를 위한 핵심 사실 보상, 중요 관찰 대상 식별을 위한 계획 정렬 보상(PAR), 자막 품질에 따라 관찰 비용 페널티를 조정하는 비생산적 도구 호출 패널티(UTCP)를 포함한다.
• 4개 영상 자막 생성 벤치마크에서 평가 대상 오픈소스 기반 모델들을 능가했으며, 생성된 자막이 후속 동영상 질의응답 작업도 더 잘 지원한다.