INT4 양자화로 강화학습 롤아웃 1.8배 빠르게
원제 KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
추천 32댓글 1
Key Point
강화학습 훈련에서 KV 캐시 양자화로 하드웨어 메모리 사용량을 크게 줄이면서도 정확도 손실을 거의 없는 방법이 나왔기 때문에, 리소스 제약이 있는 환경에서의 LLM 훈련 효율을 크게 개선할 수 있다.
핵심 요약
- 비동기 롤아웃은 긴 생성 작업 중 미활용을 줄여 검증 가능한 보상(RLVR) 강화학습의 효율성을 높이지만, 맥락 처리가 적은 디코딩 단계에 집중되면서 KV 캐시 작업 부하가 증가한다.
- 가중치 전용·가중치-활성화 양자화보다 KV 캐시 양자화가 훨씬 더 큰 가속 효과를 주지만, INT4 양자화만으로는 토큰 단위 절단된 중요도 샘플링(TIS)을 써도 학습이 악화될 수 있다.
- KV4-RL은 보정 없는 INT4 KV 양자화에 어텐션 싱크와 최근 문맥의 일부 위치만 INT8로 보호해 샘플러 오정렬을 줄이면서도 대부분의 속도 이득을 유지한다.
- Qwen3-8B-Base GRPO 훈련 400회차에서 KV4-RL은 BF16 대비 누적 롤아웃 1.80배·누적 전체 반복 1.27배 가속, 마지막 50회차에서 1.97배 롤아웃 속도 향상을 달성했다.
- BF16 평가기 하에서 Qwen3-4B-Base와 Qwen3-8B-Base 모두 6가지 벤치마크 평균 정확도가 BF16 롤아웃 훈련과 0.5%포인트 이내 차이로 유사한 성능을 보인다.