긴 비디오 이해하기, 해상도 낮추고 프레임 촘촘히 샘플링해야 한다
Key Point
비디오 이해 모델의 효율성을 높이는 새로운 관점으로, 해상도와 프레임 샘플링의 트레이드오프를 재정의하며 실제 배포 환경의 디코딩 병목을 해결한다.
핵심 요약
- 비전-언어 모델(VLM)에서 긴 비디오 이해 시 기존 방식은 고정된 고해상도에서 정보 있는 프레임만 선택했으나, 해상도를 낮추고 더 촘촘하게 샘플링하는 것이 토큰 예산을 맞췄을 때 더 나은 성능을 낸다.
- 프론트엔드 디코딩 지연시간은 최종 토큰 수가 아니라 후보 풀의 크기에 의존하며, 1시간 길이의 비디오에서 프론트엔드 디코딩이 전체 처리 시간의 대부분을 차지한다.
- 해상도에 민감한 작업(예: 텍스트 인식)은 선택된 고해상도 프레임에서 이득을 얻으며, 일반적인 이해 작업은 저해상도 촘촘 샘플링으로 충분하다.