Hugging Face 논문AI · 머신러닝

1인칭 영상 설명에 타이밍 추가한 'EgoCaptioner' 공개

원제 EgoCaptioner: Towards Comprehensive and Fine-Grained Egocentric Video Captioning

추천 25댓글 2Yuqi Tang, Yang Shi, Yuran Wang 외
Key Point

1인칭 영상 분석에서 정확한 시간 정보와 세밀한 행동 설명이 모두 필요한 실제 문제를 해결하는 새로운 데이터셋과 방법론이며, 기존 상용 모델을 능가하는 성능을 달성했기 때문이다.

핵심 요약

  • 기존 멀티모달 대형언어모델(MLLM)들은 1인칭 영상의 짧은 행동을 놓치거나 순서를 헷갈리거나 착용자의 움직임을 잘못 해석하는 문제가 있었다.
  • EgoCaptioner는 영상의 환경·참여자·착용자의 전반 활동을 개요로 먼저 제시한 뒤, 각 단계마다 타임스탬프를 붙인 설명을 제공하며 세부사항의 정도를 조정해 주요 순간을 정확히 표시한다.
  • 50,000개 학습 데이터셋을 위해 'coarse-to-fine' 주석 방식을 개발했으며, 먼저 사건 구조를 정의한 뒤 각 단계 설명을 확장하는 방식을 사용했다.
  • 사실 정확도·커버리지·단계 수준 시간 정렬·중복성 감소를 평가하는 보상들이 Group Relative Policy Optimization(GRPO)을 통해 자막 개선을 안내한다.
  • 센서 데이터가 있을 때는 자세 정보에서 추출한 움직임 사실을 추가해 사실 감독의 신뢰도를 높였다.
  • 5개 1인칭 비디오 벤치마크에서 오픈소스 모델 중 최고 성능을 기록했으며, 자막 품질·자막 기반 질의응답·시간 정렬 모두에서 우수했다.
  • PhysCapBench에서 Gemini 3.1 Pro를 능가했고, Minerva-Ego 벤치마크 'caption-to-QA' 프로토콜에서 모든 평가한 상용 기준선을 초과했다.
  • Ablation 분석 결과 사실 보상과 시간 보상의 상호 보완 역할과 coarse-to-fine 주석이 단일 단계 주석보다 더 효과적인 감독을 제공함을 확인했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗