코딩 에이전트의 컨텍스트 오버플로우 해결책, 컴팩션
원제 How Compaction Works in Pi
195 포인트댓글 83
Key Point
LLM 기반 코딩 에이전트 사용자들이 실제로 마주치는 컨텍스트 한계 문제의 실질적 해결 방식을 상세히 설명해 주목받았다.
핵심 요약
- LLM의 제한된 컨텍스트 윈도우를 초과하면 대화를 이어갈 수 없어지므로, 컴팩션으로 대화 이력의 일부를 압축 표현으로 대체한다.
- Pi는 기본값으로 2만 토큰의 예산을 사용해 최근 메시지를 보존하면서 이전 내용을 요약하고, 이때 컨텍스트 요약 전문가 역할의 별도 LLM 요청을 보낸다.
- 컴팩션 결과는 세션에 평문으로 저장되어 이동성을 확보하며, 프롬프트 캐싱은 컴팩션으로 인해 무효화된다.