LLM 에이전트 캐시 관리, 비용 28% 절감

핵심 요약

• LLM 에이전트가 장시간 작업을 수행할 때 key-value(KV) 캐시의 I/O와 저장이 가장 큰 비용이 되고, 궤적(trajectory)이 컨텍스트 길이를 초과하면서 캐시 크기 조절이 필수가 되었다.
• 기존 방식인 히스토리 정리·요약은 궤적을 변경해서 이미 캐시된 상태를 무효화하고 비용이 많이 드는 재-프리필(re-prefilling)을 촉발한다.
• 연구팀은 cache engineering이라는 새로운 방식을 제안했는데, 궤적을 수정하지 않으면서 에이전트가 활성 KV 캐시를 직접 제어할 수 있게 한다.
• drop 연산으로 선택적 캐시를 미래 어텐션에서 제외하고, repos 연산으로 보존된 키의 위치 인코딩을 조정한다.
• 동일한 토큰 시퀀스도 캐시 연산 순서에 따라 다른 캐시 상태를 만들므로(히스토리 의존성), 기존 프리픽스 매칭만으로는 올바른 캐시 재사용이 불가능하다.
• 이를 해결하기 위해 AKV 서빙 엔진을 설계했는데, 기존 API와 호환되는 무상태 인터페이스를 제공하면서 내부에서는 상태가 있는 캐시 재사용·제거·복원을 관리한다.
• tool-response rolling-drop 캐시 정책을 적용하면 기존 임계값 기반 요약 방식 대비 평균 벤치마크 점수는 1.7점 향상되고, 평균 비용은 27.7% 감소한다.
• AKV 엔진으로는 출력 처리량이 최대 1.2배 증가하고 P95 요청 지연시간이 1.5배 단축된다.
• 재귀적 자체 개선(recursive self-improvement)으로 캐시 정책을 최적화하면 전문가 설계 대비 비용을 추가로 7.1% 감소시킨다.
• 코드는 GitHub(https://github.com/thu-nics/AKV)에 공개되었다.