긴 영상도 고정 메모리로 처리하는 프레임 압축 기법
원제 Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
추천 13댓글 2
Key Point
장영상 이해가 VLM의 메모리 병목이 되는 시점에 학습 없이 적용 가능한 고정 메모리 솔루션이 나왔고, 기존 모델 대비 10% 이상 성능 향상을 보였다.
핵심 요약
- 비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다.
- 기존의 토큰 감소나 핵심 프레임 선택 방식도 O(n) 증가 추세를 해결하지 못한다.
- FramePack-U는 학습 없이 임의로 긴 영상을 고정 크기의 시각 표현으로 압축하는 훈련-자유 프레임 패킹 프레임워크다.
- 기존 VLM에 추가 학습이나 구조 변경 없이 추론 시점에 바로 적용할 수 있다.
- FramePack-U는 (1) 각 프레임을 텍스트 프롬프트와의 의미 유사도로 점수화하고 다양성 중심으로 순위 매기며, (2) 선택된 프레임을 다양한 해상도로 고정 길이 컨텍스트 윈도에 패킹한다.
- 이 방식은 메모리 예산을 지시에 관련 있고 시각적으로 다양한 프레임에 집중시킨다.
- 이론적으로는 임의 개수의 프레임을 고정 예산에 패킹할 수 있으며, 다양한 설정에서 견고하게 일반화하는 실제 구현이 확인됐다.
- LongVideoBench, MLVU, Video-MME 벤치마크에서 FramePack-U는 전체 해상도 기준선과 기존 토큰 감소·핵심 프레임 선택 방법들을 일관되게 능가했다.
- Qwen3.5-35B-A3B 모델에서 128프레임 예산으로 세 벤치마크에서 공식 모델 대비 각각 12.9%, 10.6%, 9.7% 성능 향상을 기록했다.