긴 영상 이해하는 비전-언어 모델, 메모리 효율을 10%로 줄이다

핵심 요약

• 비전-언어 모델이 긴 영상과 연속 스트림을 이해할 때, 영상이 길어질수록 시각 토큰이 누적되어 추론 비용이 급증한다.
• 기존의 훈련 없는 토큰 선택 방식은 정보성 있는 토큰만 남기지만, 사건의 일관된 증거를 잃고 최근 세부 관찰과 장기 히스토리를 구분하지 못한다.
• KeyRec은 제한된 시각 메모리를 구성하는 훈련 없는 프레임워크로, 최근 관찰은 시각 캐시에 세밀하게 보존하고 과거 증거는 구조화된 사건 은행으로 조직한다.
• 후보 사건은 이전에 저장된 사건 대비 새로움에 따라 제안되며, 추가-병합-제거 업데이트로 유지된다.
• 질문이 도착하면 텍스트 전용 라우터가 고정된 읽기 예산을 최근 메모리와 사건 메모리에 적응적으로 할당하고, 과거 프레임을 재처리하지 않는다.
• KeyRec은 모델 내부 시각 임베딩에서 작동하며 인코더-프로젝터 VLM과 인코더·프로젝터 없는 NEO-ov 아키텍처 모두를 지원한다.
• 4개의 스트리밍·긴 영상 벤치마크와 3개의 VLM 백본에서 KeyRec은 밀집 디코더 토큰 예산의 10%만 사용하여 15개 설정 중 13개에서 최고 성능을 달성했다.
• 가장 강한 압축 기준선보다 실시간 질문에서 2.21~18.37포인트 높은 성능을 보이고, 6개 긴 영상 설정 중 5개에서 최고 압축 결과를 얻었으며, 모든 NEO-ov 2B 설정에서 최고 성능을 기록했다.