확률 분포 일치로 보정 없이 확산 언어모델 양자화
원제 SoloQ: Calibration-Free Quantization for Diffusion Language Models
추천 33댓글 2
Key Point
확산 기반 언어모델의 배포 효율성이 점점 중요해지는 상황에서, 보정 데이터 없이도 정확도를 유지하는 양자화 기법이 실무 적용 시간을 크게 단축할 수 있다.
핵심 요약
- 확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다.
- 기존 양자화 방법들은 마스킹 상태와 노이징 단계마다 활성화 분포가 바뀌어 보정 데이터가 필수였다.
- SoloQ는 가중치와 활성화를 정규화된 회전 기저로 매핑해 예측 가능한 주변 분포를 만들고, 이를 통해 데이터 독립적 양자화를 실현한다.
- 구조화된 K-RPBH 회전과 경량 재스케일링 보정을 결합하며, 분포 일치 코드북과 하드웨어 네이티브 NVFP4를 모두 지원한다.
- 블록-확산 모델에서는 커밋-타임 KV-캐시 양자화로 활성 노이징 블록을 건드리지 않으면서 상태를 압축한다.
- LLaDA, Dream(전체 시퀀스), Fast-dLLM v2, Nemotron-Labs-Diffusion(블록-확산) 등 4가지 모델에서 4비트 양자화 시 정확도를 유지한다.
- 보정 기반 베이스라인 대비 지식·추론 집약적 벤치마크에서 우수한 성능을 보인다.
- NVFP4 사용 시 피크 메모리를 최대 2.61배 감소, 종단간 추론 속도를 최대 2.24배 가속화한다.