쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
4건 · "캐시 정책"조건 지우기 ×
001 03:11 새 버전 OpenAI Python SDK v3.40.0 릴리스, 프롬프트 캐시 TTL 옵션 추가 OpenAI Python SDK v3.40.0이 릴리스되었으며, 주요 기능으로 프롬프트 캐시 브레이크포인트 TTL(Time-To-Live) 옵션이 추가되었다. AI · 머신러닝 · openai/openai-python@v3.40.0
Key Point 프롬프트 캐시 TTL 옵션은 API 호출 시 캐시된 토큰의 유효기간을 세밀하게 제어할 수 있게 해주므로, OpenAI API를 활용하는 개발자들이 비용 최적화와 캐시 정책을 더 정교하게 관리할 수 있다.
핵심 요약
OpenAI Python SDK v3.40.0이 릴리스되었으며, 주요 기능으로 프롬프트 캐시 브레이크포인트 TTL(Time-To-Live) 옵션이 추가되었다. 브라우저 데모 의존성을 명시적으로 지정하는 버그 수정이 포함되었다. 생성된 코드 분리 기록 및 검증 프로세스를 업데이트하고 SDK 헬퍼를 보존하는 개선사항이 적용되었다. 전체 요약 5문장 읽기 → 002 12:11 ▲ 135 · 댓글 1 LLM 에이전트 캐시 관리, 비용 28% 절감 LLM 에이전트가 장시간 작업을 수행할 때 key-value(KV) 캐시의 I/O와 저장이 가장 큰 비용이 되고, 궤적(trajectory)이 컨텍스트 길이를 초과하면서 캐시 크기 조절이 필수가 되었다. AI · 머신러닝 · Cache Engineering for Agents
Key Point LLM 에이전트의 장시간 작업에서 캐시 관리 오버헤드가 최대 비용이 되는 상황에서, 궤적 수정 없이 캐시를 제어하고 비용을 27.7% 줄이는 새로운 방식의 등장으로 에이전트 성능 최적화의 패러다임이 바뀌고 있다.
핵심 요약
LLM 에이전트가 장시간 작업을 수행할 때 key-value(KV) 캐시의 I/O와 저장이 가장 큰 비용이 되고, 궤적(trajectory)이 컨텍스트 길이를 초과하면서 캐시 크기 조절이 필수가 되었다. 기존 방식인 히스토리 정리·요약은 궤적을 변경해서 이미 캐시된 상태를 무효화하고 비용이 많이 드는 재-프리필(re-prefilling)을 촉발한다. 연구팀은 cache engineering이라는 새로운 방식을 제안했는데, 궤적을 수정하지 않으면서 에이전트가 활성 KV 캐시를 직접 제어할 수 있게 한다. 전체 요약 10문장 읽기 → 003 12:10 ▲ 103 · 댓글 51 LRU 캐시 정책, 기존 논문보다 더 견고했다 실제 Claude Code 세션 393개(요청 68,266건)와 Mooncake 요청 23,608건을 재현해 LRU를 이길 방법을 3가지로 시도했으나 모두 실패했다. 인프라 · 데브옵스 · LRU is harder to beat than the KV-cache papers suggest
Key Point 생성형 LLM 에이전트 서빙에서 캐시 정책을 최적화하려는 엔지니어들이 설계 선택을 할 때, 최근 학술 논문의 주장이 실제 프로덕션 워크로드에 얼마나 적용되는지 확인할 수 있다.
핵심 요약
실제 Claude Code 세션 393개(요청 68,266건)와 Mooncake 요청 23,608건을 재현해 LRU를 이길 방법을 3가지로 시도했으나 모두 실패했다. 용량 부족 상황에서 캐시 재계산의 주요 원인은 세션 만료(TTL)가 아니라 2초 간격의 도구 호출 루프였고, 5분 TTL은 실제로 발동되지 않았다. 재계산 토큰의 33.1%는 10초 이내 요청에서 발생했고, 5분 이상 대기 후 요청은 17.5%에 불과해 기존 논문의 핵심 가정이 실제 워크로드와 다르다. 전체 요약 5문장 읽기 → 004 11:10 ▲ 102 · 댓글 49 ARM 하이퍼바이저 디버깅기: NX 비트의 숨은 역할 ARM64 베어메탈 하이퍼바이저 개발 중 CTR_EL0 인터셉트를 활성화하면 시스템이 무작위로 잠기는 버그가 발생했습니다. 인프라 · 데브옵스 · The NX bit is not just about security
Key Point ARM 하드웨어의 세부 구현이 표준을 벗어날 때 발생하는 미묘한 버그와 메모리 속성(NX 비트, 캐시 정책)이 코드 실행에 미치는 영향을 이해하는 데 필수적인 실제 사례입니다.
핵심 요약
ARM64 베어메탈 하이퍼바이저 개발 중 CTR_EL0 인터셉트를 활성화하면 시스템이 무작위로 잠기는 버그가 발생했습니다. 초기 의심 대상들을 하나씩 검증했으나 예외 핸들러는 정상 작동했고, 실제 하드웨어에서만 레지스터가 수정되지 않았습니다. 원인은 실행 가능한 머신 명령어가 담긴 버퍼를 정렬할 때 ARM의 I캐시/D캐시 비일관성(cache incoherency) 문제로, 캐시된 명령어가 메모리의 새로운 데이터와 불일치했습니다. 전체 요약 5문장 읽기 → 
