LLM 양자화 설계를 자동화하는 에이전트 시스템 QDA
원제 QDA: Closed-Loop LLM Quantization Design with Agents
추천 16댓글 2
Key Point
대규모 언어 모델의 양자화 과정을 사람이 아닌 에이전트가 자동화함으로써 모델별 최적 설계 시간을 단축하고 성능을 개선하는 새로운 접근법을 제시한다.
핵심 요약
- Post-training 양자화는 대규모 언어 모델을 저비용으로 서빙하는 표준 방식이지만, 모델과 정밀도마다 최적의 양자화 레시피가 다르다.
- 기존에는 전문가가 새로운 모델마다 수작업으로 레시피를 재설계해야 하는데 시간이 오래 걸리고 최적이 아닐 수 있다.
- QDA는 에이전트가 여러 라운드에 걸쳐 후보를 생성하고 평가하면서 각 모델과 정밀도에 맞는 양자화 레시피를 자동으로 설계하는 시스템이다.
- 한 개의 양자화 모델 평가에 수십 개의 GPU 시간이 소요되는 문제를 해결하기 위해, 원본 모델과의 KL 발산을 추론 트레이스로 분 단위에 평가하고 유망한 후보는 긴 생성으로 반복 루프 같은 실패를 감지한다.
- 다양한 코드베이스의 양자화 기법을 통합하기 위해 QDA는 서로 호환되고 새 아키텍처에 적용 가능한 PTQ 방법 라이브러리를 제공한다.
- 네 개의 추론 모델에서 QDA는 W4A16, W4A8, W3A16 정밀도에서 가장 강력한 공개 레시피 대비 평균 0.9~2.2 퍼센트포인트 정확도를 개선했으며 한 번의 탐색에 64 GPU 시간을 사용했다.
- 320B 파라미터 MoE 모델 GLM-5.3-Flash를 NVFP4 W4A4로 양자화했을 때 FP8 모델 정확도의 98.3%를 회복했으며, 최고의 벤더 체크포인트는 96.9%였다.
- 모든 QDA 체크포인트는 기존 서빙 커널에서 추론 오버헤드 없이 실행되며, 연구팀은 라이브러리, 평가기, 하니스를 공개할 예정이다.