Hugging Face 논문AI · 머신러닝

루프 트랜스포머를 위한 초저비트 KV 캐시 양자화 기술 LoopVQ

원제 LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers

추천 11댓글 2Minsoo Cheong, Sungjoo Yoo
Key Point

루프 트랜스포머는 파라미터 효율성이 뛰어나지만 KV 캐시 메모리가 주요 병목인데, 0.5비트 수준의 극저비트 양자화로 추론 처리량을 6배까지 늘릴 수 있음을 보여준다.

핵심 요약

  • 루프 트랜스포머는 동일한 레이어를 여러 번 재적용해 매개변수 효율성을 높이면서도 표준 트랜스포머 성능을 유지하는 아키텍처다.
  • 하지만 루프의 각 단계마다 고유한 KV 캐시를 저장하므로, KV 캐시가 루프 단계 수에 따라 선형 증가하며 메모리 병목이 된다.
  • 연구진은 루프 모델의 KV 캐시가 루프 축을 따라 높은 중복성을 가지며, 루프 단계별로 양자화 민감도가 크게 다름을 발견했다.
  • 이를 바탕으로 LoopVQ를 제안했으며, 여러 루프 단계의 채널을 공동으로 코딩하고 풀프레시전 모델 출력에 맞춰 코드북을 미세조정한다.
  • 0.5비트/요소 기준으로 Ouro와 Huginn 모델에서 일반 작업, 사슬형 추론, 장문맥 검색 태스크에서 기존 KV 캐시 양자화 방법을 능가한다.
  • TaSQ와 결합하면 0.25비트/요소에서도 BF16 정확도의 대부분을 유지한다.
  • SGLang에 구현한 결과 32K 토큰 문맥에서 디코딩 지연을 약 절반으로 줄이고, 1.4B와 2.6B Ouro 모델에서 피크 처리량을 BF16 대비 최대 4.3배, 6.1배 증가시켰다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗