LLM 추론을 위한 '불일치 양자화', 프롬프트와 생성 단계별 최적화
원제 Disaggregated Quantization: Specializing LLM Prefill and Decode
추천 45댓글 2
Key Point
LLM 추론의 Prefill과 Decode 두 단계에 서로 다른 양자화 전략을 적용해 정확도 손실 없이 처리 속도(첫 토큰까지 1.78배 단축)와 메모리 효율을 동시에 개선하는 방법론이 공개됐다.
핵심 요약
- 프롬프트 처리(Prefill)와 응답 생성(Decode)은 서로 다른 양자화 방식을 요구한다: Prefill은 저정밀 계산으로 빠른 처리가 필요하고, Decode는 컴팩트한 가중치로 메모리 대역폭을 줄이는 것이 중요하다.
- 연구진은 '불일치 양자화'(Disaggregated Quantization, DQ)를 제안했으며, 이는 두 단계별로 계산 형식·가중치·저장소 배치를 특화시킨다.
- Qwen 3과 Gemma 3에서 Decode 단계의 활성화 양자화를 제거하면 생성 작업의 정확성이 향상되고 추론 비용은 증가하지 않는다.
- 별도로 훈련한 Prefill 전용 가중치는 2-3비트 Decode 환경에서 가중치 전용 추론과 정확성이 같거나 높으면서도 프롬프트 처리를 가속한다.
- 공개된 Qwen 3.8-27B GGUF 디코더와 NVFP4 형식의 Prefiller를 조합하면 MMLU-Pro에서 1비트 정확도가 32.5포인트, MMMU-Pro에서 35.3포인트 향상되며 디코더 체크포인트 수정이 불필요하다.
- 단일 기기의 저장소 제약을 해결하기 위해 '오프로드 불일치 Prefill'(ODP)을 개발했으며, SSD에서 가중치를 스트리밍하고 프롬프트 길이에 따라 로딩 비용을 분산시킨다.
- llama.cpp에서 27B 모델 기준 8K 길이 프롬프트 처리 시 ODP는 가중치 전용 기준 대비 첫 토큰 응답 시간을 1.78배 단축한다.
- vLLM에서 불일치 서빙 환경의 정확성을 평가했으며, 2.8T 규모 모델까지 학습 후 양자화를 통해 공유 가중치 형식의 불일치 방식을 검증했다.