1인칭 영상 설명에 타이밍 추가한 'EgoCaptioner' 공개
Key Point
1인칭 영상 분석에서 정확한 시간 정보와 세밀한 행동 설명이 모두 필요한 실제 문제를 해결하는 새로운 데이터셋과 방법론이며, 기존 상용 모델을 능가하는 성능을 달성했기 때문이다.
핵심 요약
- 기존 멀티모달 대형언어모델(MLLM)들은 1인칭 영상의 짧은 행동을 놓치거나 순서를 헷갈리거나 착용자의 움직임을 잘못 해석하는 문제가 있었다.
- EgoCaptioner는 영상의 환경·참여자·착용자의 전반 활동을 개요로 먼저 제시한 뒤, 각 단계마다 타임스탬프를 붙인 설명을 제공하며 세부사항의 정도를 조정해 주요 순간을 정확히 표시한다.
- 50,000개 학습 데이터셋을 위해 'coarse-to-fine' 주석 방식을 개발했으며, 먼저 사건 구조를 정의한 뒤 각 단계 설명을 확장하는 방식을 사용했다.