쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 15일 (화)까지464건
2건 · "캐시 정책"조건 지우기 ×
001▲ 103 · 댓글 51LRU 캐시 정책, 기존 논문보다 더 견고했다실제 Claude Code 세션 393개(요청 68,266건)와 Mooncake 요청 23,608건을 재현해 LRU를 이길 방법을 3가지로 시도했으나 모두 실패했다.인프라 · 데브옵스 · LRU is harder to beat than the KV-cache papers suggest
LRU 캐시 정책, 기존 논문보다 더 견고했다
Key Point생성형 LLM 에이전트 서빙에서 캐시 정책을 최적화하려는 엔지니어들이 설계 선택을 할 때, 최근 학술 논문의 주장이 실제 프로덕션 워크로드에 얼마나 적용되는지 확인할 수 있다.
핵심 요약
- 실제 Claude Code 세션 393개(요청 68,266건)와 Mooncake 요청 23,608건을 재현해 LRU를 이길 방법을 3가지로 시도했으나 모두 실패했다.
- 용량 부족 상황에서 캐시 재계산의 주요 원인은 세션 만료(TTL)가 아니라 2초 간격의 도구 호출 루프였고, 5분 TTL은 실제로 발동되지 않았다.
- 재계산 토큰의 33.1%는 10초 이내 요청에서 발생했고, 5분 이상 대기 후 요청은 17.5%에 불과해 기존 논문의 핵심 가정이 실제 워크로드와 다르다.
- SGLang과 vLLM의 라딕스 트리 구조 내 LRU 구현이 단순 블록 LRU와 거의 동일한 성능(0.02pp 차이)을 보여 기존 최적화가 실무에서는 거의 효과가 없다.
- 생성형 LLM 에이전트 서빙에서 크로스 요청 KV 캐시 프리픽스 공유가 가장 큰 성능 이득이지만, LRU를 대체할 더 나은 정책이 실제로 존재하지 않을 수 있다.
인프라 · 데브옵스 · The NX bit is not just about security
ARM 하이퍼바이저 디버깅기: NX 비트의 숨은 역할
Key PointARM 하드웨어의 세부 구현이 표준을 벗어날 때 발생하는 미묘한 버그와 메모리 속성(NX 비트, 캐시 정책)이 코드 실행에 미치는 영향을 이해하는 데 필수적인 실제 사례입니다.
핵심 요약
- ARM64 베어메탈 하이퍼바이저 개발 중 CTR_EL0 인터셉트를 활성화하면 시스템이 무작위로 잠기는 버그가 발생했습니다.
- 초기 의심 대상들을 하나씩 검증했으나 예외 핸들러는 정상 작동했고, 실제 하드웨어에서만 레지스터가 수정되지 않았습니다.
- 원인은 실행 가능한 머신 명령어가 담긴 버퍼를 정렬할 때 ARM의 I캐시/D캐시 비일관성(cache incoherency) 문제로, 캐시된 명령어가 메모리의 새로운 데이터와 불일치했습니다.
- 이후에도 시스템이 부팅하지 않았으므로, MRS 명령어를 처리하는 C 핸들러 함수를 어셈블리로 재작성했을 때 문제가 해결되었습니다.
- 최종적으로 이진 bisecting을 통해 논리적으로 동등한 두 코드 버전 중 하나만 작동하는 현상을 추적했고, NX 비트(실행 방지 비트) 설정이 데이터 섹션의 코드 실행을 막으면서 예상치 못한 동작을 유발했음을 암시합니다.