루프 트랜스포머를 위한 초저비트 KV 캐시 양자화 기술 LoopVQ
원제 LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
추천 11댓글 2
Key Point
루프 트랜스포머는 파라미터 효율성이 뛰어나지만 KV 캐시 메모리가 주요 병목인데, 0.5비트 수준의 극저비트 양자화로 추론 처리량을 6배까지 늘릴 수 있음을 보여준다.
핵심 요약
- 루프 트랜스포머는 동일한 레이어를 여러 번 재적용해 매개변수 효율성을 높이면서도 표준 트랜스포머 성능을 유지하는 아키텍처다.
- 하지만 루프의 각 단계마다 고유한 KV 캐시를 저장하므로, KV 캐시가 루프 단계 수에 따라 선형 증가하며 메모리 병목이 된다.
- 연구진은 루프 모델의 KV 캐시가 루프 축을 따라 높은 중복성을 가지며, 루프 단계별로 양자화 민감도가 크게 다름을 발견했다.
- 이를 바탕으로 LoopVQ를 제안했으며, 여러 루프 단계의 채널을 공동으로 코딩하고 풀프레시전 모델 출력에 맞춰 코드북을 미세조정한다.
- 0.5비트/요소 기준으로 Ouro와 Huginn 모델에서 일반 작업, 사슬형 추론, 장문맥 검색 태스크에서 기존 KV 캐시 양자화 방법을 능가한다.
- TaSQ와 결합하면 0.25비트/요소에서도 BF16 정확도의 대부분을 유지한다.
- SGLang에 구현한 결과 32K 토큰 문맥에서 디코딩 지연을 약 절반으로 줄이고, 1.4B와 2.6B Ouro 모델에서 피크 처리량을 BF16 대비 최대 4.3배, 6.1배 증가시켰다.