기하학 구조 보존하는 Transformer 압축 기법 제시
원제 GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
추천 13댓글 2
Key Point
계층 간 상호작용을 고려한 새로운 압축 패러다임으로, 학습 없이 추론만으로 모델 크기를 줄이는 실무적 가치가 있으며 다양한 모달리티에 적용 가능하다.
핵심 요약
- Transformer 아키텍처의 계층 간 중복성을 활용하는 학습 없는 압축 프레임워크 GeoPair를 제안했다.
- 기존 방식처럼 인접 계층의 가중치를 강제로 같은 기저에 공유시키거나 휴리스틱 기반 활성화 통계 병합 대신, 구조적으로 호환 가능한 사영(projection)을 찾아내는 방식을 사용한다.
- 각 계층의 고유한 보정 기하학(calibration geometry)을 더 잘 보존하는 공유 표현을 학습하며, 구조화된 희소성과 함께 적용하면 기능 정확도를 손상시키지 않으면서 효율적인 가중치 분해를 달성한다.
- 다양한 아키텍처, 규모, 모달리티(시각·언어 등)에서 기존 독립적 가중치 분해 방식과 휴리스틱 그룹핑 기반 쌍방향 분해를 능가하는 성능을 보였다.
- 휴리스틱 공학 전략을 수렴하는 최적화 기반 파이프라인으로 대체해 Transformer 압축의 이론적 기초를 제공한다.