테스트 시점 회귀로 토큰 압축 성능 대폭 개선
원제 Rethinking Sequence Compression with Test-time Regression
추천 19댓글 3
Key Point
기존 풀링·투영 방식의 약점을 해결하면서 더 적은 토큰으로 더 나은 성능을 달성하는 새로운 압축 기법이 여러 과제에서 검증됐다.
핵심 요약
- 언어·멀티모달 모델의 토큰 압축은 효율성의 핵심 병목이지만 기존 풀링과 학습된 투영 방식의 성능이 떨어진다.
- 새로운 접근으로 입력 토큰을 회귀 문제로 본 후, 피팅된 계수를 압축 표현으로 삼는 TTR-Compressor를 제시한다.
- 회귀 문제는 역전파로 엔드투엔드 학습하되, 순전파 중에는 폐쇄형 식으로 계수를 효율적으로 계산한다.
- 블록 단위 희소 어텐션에서 TTR-Compressor는 기존 어텐션 기반 압축기 대비 RULER 성능을 크게 높였다.
- 시각 토큰 병합(비전-언어 모델용)에서는 표준 MLP 병합기를 일관되게 능가하면서 시각 토큰을 55.6% 줄일 수 있다.
- 테스트 시점 회귀가 효율적인 언어·멀티모달 모델의 토큰 압축을 위한 기초 기법으로 입증되었다.