LLM 양자화 설계를 자동화하는 에이전트 시스템 QDA
Key Point
대규모 언어 모델의 양자화 과정을 사람이 아닌 에이전트가 자동화함으로써 모델별 최적 설계 시간을 단축하고 성능을 개선하는 새로운 접근법을 제시한다.
핵심 요약
- Post-training 양자화는 대규모 언어 모델을 저비용으로 서빙하는 표준 방식이지만, 모델과 정밀도마다 최적의 양자화 레시피가 다르다.
- 기존에는 전문가가 새로운 모델마다 수작업으로 레시피를 재설계해야 하는데 시간이 오래 걸리고 최적이 아닐 수 있다.
- QDA는 에이전트가 여러 라운드에 걸쳐 후보를 생성하고 평가하면서 각 모델과 정밀도에 맞는 양자화 레시피를 자동으로 설계하는 시스템이다.