대규모 모델도 11배 빠르게 양자화하는 MACaQ 기법
원제 MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
추천 30댓글 2
Key Point
대규모 모델 양자화의 병목인 오버헤드와 시간을 획기적으로 줄이면서 다양한 아키텍처에 공통 적용 가능해, 효율적인 모델 배포에 실질적 영향을 줄 수 있는 기술이다.
핵심 요약
- Weight-activation 양자화는 신경망 추론의 메모리와 계산 비용을 줄일 수 있지만, 기존 방식들은 비용이 많이 드는 최적화와 아키텍처별 복잡한 변환을 거쳐야 했다.
- MACaQ는 MXFP4 W4A4 포스트트레이닝 양자화 방법으로, 각 선형 계층을 독립적으로 처리한다.
- 채널별 스케일과 블록-하다마드 변환을 각 계층의 활성화에 온라인으로 적용하고, 역변환을 가중치에 흡수시켜 계층 간 의존성을 제거한다.
- 메모리에 한 번에 한 계층만 유지하면 되는 스트리밍 방식 구현이 가능해진다.
- 반올림 대신 해시안 기반 좌표 하강법인 Flip-Refinement를 적용해 FP4 코드를 인접한 표현 가능한 값으로 이동시켜 정확도를 개선한다.
- 추론 시간에 활성화 변환을 실행하면서도 Qwen3-32B에서 MXFP4 대비 2.3% 오버헤드만 발생한다.
- DuQuant++, MR-GPTQ보다 낮은 퍼플렉서티를 달성했고, Llama-3-8B에서 기존 방식 대비 11배 빠른 양자화 시간으로 동등한 성능을 낸다.
- 아키텍처별 수정 없이 이미지 확산 모델에도 적용 가능하며, 32.5GB GPU 메모리로 122B 파라미터 모델을 64분 내에 양자화할 수 있다.