확산 모델의 단계별·작업별 양자화로 정확도 6.7%p 향상
원제 Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models
추천 23댓글 2
Key Point
확산 모델의 양자화 시 노이즈 제거 과정의 어느 단계에서 어느 정도의 정밀도가 필요한지를 체계적으로 파악할 수 있게 되어, 모델 압축 효율과 정확도 사이의 균형을 개선할 수 있다.
핵심 요약
- 확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다.
- 연구팀은 양자화 민감도가 작업과 타이밍 두 가지에 의존하며, 각 작업마다 노이즈 제거 단계별로 필요한 정밀도가 다름을 밝혔다.
- 이러한 패턴은 정답 레이블이나 작업별 평가 지표 없이도 예측 가능함을 보였다.
- T²Quant라는 작업·시간 인식 혼합 정밀도 양자화 프레임워크를 제안했으며, 레이블 없는 민감도 신호로 고정 비트폭 예산 내에서 활성화 정밀도를 최적 배치한다.
- 세 가지 DLM과 여섯 개 벤치마크에서 실험한 결과 T²Quant는 기존 양자화 방법 대비 평균 정확도를 일관되게 개선했으며, 동일 예산 하에서 최대 6.7%p 향상을 달성했다.