쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
2건 · "KV-cache"조건 지우기 ×
001 03:11 ▲ 99 · 댓글 3 KV 캐시 압축의 숨은 약점, 위치에 따라 정확도 40%p 차이 긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다. AI · 머신러닝 · Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
Key Point 긴 문맥 추론 최적화를 위해 KV 캐시 압축을 도입하면 평균 점수로는 보이지 않는 주기적 성능 저하가 발생하므로, 이 기법의 실제 안정성을 평가할 때 주의가 필요하다.
핵심 요약
긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다. 같은 정보가 어떤 phase에서는 쉽게 검색되지만 다른 phase에서는 어렵다는 체계적인 비대칭성이 발생하며, 이를 phase sensitivity라고 명명했다. 대규모 오픈소스 모델들에서 long-context 검색 정확도가 phase에 따라 최대 40 percentage points 차이가 나타나, 평균 벤치마크 점수로는 드러나지 않는 주기적 약점들이 존재한다. 전체 요약 7문장 읽기 → 002 12:10 ▲ 103 · 댓글 51 LRU 캐시 정책, 기존 논문보다 더 견고했다 실제 Claude Code 세션 393개(요청 68,266건)와 Mooncake 요청 23,608건을 재현해 LRU를 이길 방법을 3가지로 시도했으나 모두 실패했다. 인프라 · 데브옵스 · LRU is harder to beat than the KV-cache papers suggest
Key Point 생성형 LLM 에이전트 서빙에서 캐시 정책을 최적화하려는 엔지니어들이 설계 선택을 할 때, 최근 학술 논문의 주장이 실제 프로덕션 워크로드에 얼마나 적용되는지 확인할 수 있다.
핵심 요약
실제 Claude Code 세션 393개(요청 68,266건)와 Mooncake 요청 23,608건을 재현해 LRU를 이길 방법을 3가지로 시도했으나 모두 실패했다. 용량 부족 상황에서 캐시 재계산의 주요 원인은 세션 만료(TTL)가 아니라 2초 간격의 도구 호출 루프였고, 5분 TTL은 실제로 발동되지 않았다. 재계산 토큰의 33.1%는 10초 이내 요청에서 발생했고, 5분 이상 대기 후 요청은 17.5%에 불과해 기존 논문의 핵심 가정이 실제 워크로드와 다르다. 전체 요약 5문장 읽기 → 