장문맥 에이전트의 이력 압축, 소프트 메모리 토큰으로 해결
원제 REMORY: Learning Residual Memory for Context Compaction
추천 38댓글 5
Key Point
LLM 기반 장시간 에이전트의 컨텍스트 제약을 해결하는 새로운 접근법으로, 입력 토큰을 극적으로 줄이면서 의사결정 품질을 유지하는 방법을 제시한다.
핵심 요약
- 장시간 작업하는 에이전트는 유한한 컨텍스트 윈도우 내에서 계속 작동하기 위해 이력을 압축해야 하는데, 텍스트 요약만으로는 모든 의사결정을 지원하기 어렵다.
- REMORY는 요약을 보완하는 제한된 길이의 소프트 메모리 토큰 시퀀스를 생성하는 신경 메모리 네트워크로, 전체 이력이 있을 때 LLM이 생성할 결과를 시뮬레이션하도록 학습된다.
- 이 토큰들은 요약을 기반으로 조건화되며 요약 뒤에 추가되어 시퀀스 차원의 잔차 연결 형태를 만든다.
- SummHay 벤치마크에서 REMORY는 입력 위치의 5.2%만 사용하면서 전체 컨텍스트 점수에 근접한 성능을 달성하고, 출처 귀인 정확성을 높이며 통찰력 커버리지는 거의 유지한다.
- Qwen3.8-27B와 GLM-5.3-Flash 모델은 장시간 에이전트 벤치마크에서 잔차 메모리로 일관된 성능 향상을 보였다.
- 두 모델 모두 BrowseComp와 Terminal-Bench 2.1에서 반복된 도구 출력과 도구 오류를 크게 줄였다.