Hugging Face 논문AI · 머신러닝

추론 메모리 4배 줄이는 KV 캐시 압축 기법 LowRAM

원제 LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

추천 34댓글 4Teresa Delgado, Hugo Hazard, Martin Benfeghoul 외
Key Point

LLM 추론 시 가장 큰 메모리 병목인 KV 캐시를 4배 이상 압축하면서 성능을 유지하는 방법으로, 배치 크기 확대와 처리량 증대에 직결된다.

핵심 요약

  • 생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다.
  • 논문은 각 어텐션 헤드 내에서 밸류(Value)가 키(Key)로부터 대부분 예측 가능하다는 새로운 압축 축을 제시한다.
  • 밸류 캐시 상각화 기법은 헤드별 경량 예측기를 추론 시점에 피팅하고 예측 오류가 큰 토큰의 잔차만 저장해 4배 무손실에 가까운 압축을 달성한다.
  • 메타러닝으로 예측기를 초기화하면 프리필 오버헤드를 크게 줄일 수 있으며, 처음부터 피팅하는 옵션도 다중쿼리 추론 같은 일회성 비용이 허용되는 환경에서 가능하다.
  • LowRAM은 밸류 상각화와 교차계층 저랭크 키 압축을 결합한 비대칭 파이프라인으로, 3개 모델 패밀리에서 거의 무손실에 가까운 성능을 유지한다.
  • 각 디코딩 스텝에서 선택된 KV 쌍의 부분집합만 복원하면 디코딩 오버헤드를 최소화하고 4배 압축 상황에서 디코딩 처리량을 최대 5배 높일 수 있다.
  • 양자화와 제거(eviction) 기법과 조합하면 26.9배 압축을 달성하면서도 장문맥 작업에서 기준 성능의 94.5%를 유지한다.
  • 키와 밸류를 구조적으로 구별되는 대상으로 취급하면 효율적이고 적극적이며 조합 가능한 KV 캐시 압축이 가능함을 보여준다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗