비전 토큰 50% 줄이고 성능 99.5% 유지하는 압축 기법
원제 V-CoLA: Vision Token Compression with Linear Attention
추천 12댓글 2
Key Point
선형 어텐션 기반 비전-언어 모델에서 기존 압축 방법이 작동하지 않는 문제를 해결하는 새로운 접근법으로, 실무 배포 시 추론 속도와 메모리 효율을 크게 개선할 수 있다.
핵심 요약
- Vision-language 모델은 강력하지만 비전 토큰이 입력 시퀀스의 대부분을 차지해 계산 비용이 크다는 문제가 있다.
- 선형 어텐션을 활용한 하이브리드 아키텍처(예: Qwen3.5)가 등장하면서 기존 소프트맥스 기반 압축 방법들이 성능 저하를 보인다.
- 연구팀은 선형 어텐션에 특화된 훈련 불필요 토큰 압축 프레임워크 V-CoLA를 제안했다.
- V-CoLA는 중요한 비전 토큰을 식별하는 독특성 인식 중요도 기준과 적응형 토큰 병합 전략을 사용한다.
- 모든 컴포넌트는 선형 어텐션의 청크 병렬 처리와 호환되도록 구현 수준에서 최적화됐다.
- 성능 평가 결과 비전 토큰을 50%만 사용해도 원본 성능의 99.5%를 유지하고, 12.5%만 사용해도 88% 이상 성능을 보인다.
- 프리필 단계에서 1.86배에서 6.15배의 속도 향상을 달성한다.