긴 비디오 이해하기, 해상도 낮추고 프레임 촘촘히 샘플링해야 한다

핵심 요약

• 비전-언어 모델(VLM)에서 긴 비디오 이해 시 기존 방식은 고정된 고해상도에서 정보 있는 프레임만 선택했으나, 해상도를 낮추고 더 촘촘하게 샘플링하는 것이 토큰 예산을 맞췄을 때 더 나은 성능을 낸다.
• 프론트엔드 디코딩 지연시간은 최종 토큰 수가 아니라 후보 풀의 크기에 의존하며, 1시간 길이의 비디오에서 프론트엔드 디코딩이 전체 처리 시간의 대부분을 차지한다.
• 해상도에 민감한 작업(예: 텍스트 인식)은 선택된 고해상도 프레임에서 이득을 얻으며, 일반적인 이해 작업은 저해상도 촘촘 샘플링으로 충분하다.
• 연구팀이 제안한 LoHi는 훈련 없이 한 번의 패스로 작동하며, 저해상도 비디오 스트림을 VLM의 기본 비디오 경로로, 고해상도 프레임을 이미지 경로로 따로 처리한다.
• LoHi-Anchor는 비디오 코덱의 I-프레임 메타데이터로 고해상도 프레임을 선택하고, LoHi-SemDiv는 CLIP 특성을 기반으로 쿼리 관련성과 시각적 다양성을 고려해 프레임을 고른다.
• 세 가지 긴 비디오 벤치마크에서 LoHi는 같은 토큰 예산 대비 기본 고해상도 방식보다 평균 정확도 10.6%포인트 향상, 기존 최고 효율 방법보다 5.2%포인트 향상을 기록했고, 1시간 비디오에서 프론트엔드 디코딩 지연을 최대 7배 단축했다.