KV 캐시 압축의 숨은 약점, 위치에 따라 정확도 40%p 차이

핵심 요약

• 긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다.
• 같은 정보가 어떤 phase에서는 쉽게 검색되지만 다른 phase에서는 어렵다는 체계적인 비대칭성이 발생하며, 이를 phase sensitivity라고 명명했다.
• 대규모 오픈소스 모델들에서 long-context 검색 정확도가 phase에 따라 최대 40 percentage points 차이가 나타나, 평균 벤치마크 점수로는 드러나지 않는 주기적 약점들이 존재한다.
• 연구팀은 여러 KV 압축 설계 방식으로 처음부터 트랜스포머를 학습시켜 모든 변형에서 phase sensitivity를 재현했다.
• 인과 개입(causal interventions)을 통한 기계론적 분석 결과, 다양한 어텐션 컴포넌트들이 서로 다른 source phase의 정보 검색에 비대칭적으로 기여하는 phase specialization 현상을 발견했다.
• 이상화된 검색 모델 분석에서 그래디언트 흐름 역학(gradient flow dynamics)이 날카로운 phase specialization을 선호하는 방식으로 작동함을 보였다.
• 청크형 KV 캐시 압축 모델 평가 시 모든 compression phase에 걸쳐 측정해야 하며, 높은 평균 정확도는 체계적인 위치 기반 실패와 공존할 수 있다.