Gemma 4 임베딩을 극도로 압축하는 OPTIC 기법 공개
원제 Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
추천 16댓글 4
Key Point
대규모 언어 모델의 임베딩 매개변수가 점차 커지는 추세에서, 성능 손실을 최소화하면서 극도의 압축을 달성할 수 있는 새로운 방법을 제시한다.
핵심 요약
- Gemma 4 E4B의 매개변수 35.2%를 차지하는 Per-Layer Embeddings(PLE)의 극도 압축 기법 OPTIC을 개발했다.
- OPTIC은 토큰마다 하나의 양자화된 코드를 저장하고, 각 층에서 층별 아핀 디코더로 디코딩하는 방식을 사용한다.
- 코드와 디코더는 저장된 벡터가 아닌 PLE 출력 경로에 맞춰 학습된다.
- 약 100배 압축(bfloat16 기준) 시 OPTIC은 7개 벤치마크에서 압축 전 97.8% 성능을 유지하며, 기존 가장 강력한 기법인 product quantization은 66.3%만 유지한다.
- 594배, 1,002배 압축 시 각각 90.5%, 84.1% 성능을 유지한다.
- 4비트 가중치와 16비트 활성화를 사용하는 공식 E4B에서 약 100배 PLE 압축 시 96.9% 성능을 유지한다.
- 추론 시 약 100배 PLE 압축에서 BF16 E4B는 비압축 대비 29.7% 적은 GPU 메모리를 사용하면서 최대 0.40% 느려진다.