메모리의 가치를 배우다: 자원 제약 속 에이전트 최적화
원제 Remembering Has a Price: Learning Memory Worth under Resource Constraints
추천 10댓글 2
Key Point
토큰 수 제약이 있는 LLM 에이전트에서 메모리 관리의 비용-편익을 최적화하는 새로운 접근법으로, API 호출 비용을 줄이면서 성능을 개선하는 실제 경로를 보여준다.
핵심 요약
- 지속적으로 학습하는 에이전트는 배포 후 경험을 축적해 개선하지만, 실제로는 생성, 상호작용, 메모리 예산이 매우 제한적이다.
- 이러한 강한 자원 제약 하에서 기존 평생 학습 메모리 방식들이 비효과적이 되며, 정교한 접근법도 단순 검색이나 메모리 없는 에이전트보다 나은 성과를 내지 못한다.
- 문제의 핵심은 단순히 관련 경험을 검색하는 것이 아니라 실제로 보존하고 재사용할 가치가 있는 경험을 판단하는 것이다.
- 이를 해결하기 위해 TokenWorth라는 경량 온라인 메모리 프레임워크를 제안한다.
- TokenWorth는 실행 피드백을 활용해 쿼리별 메모리 가치를 학습하고, 이를 메모리 검색과 제한된 메모리 관리에 일관되게 적용한다.
- LifelongAgentBench 환경 3곳과 로컬·API 기반 배포 모두에서 TokenWorth는 평가된 방식 중 가장 적은 출력 토큰을 사용하면서 최고의 작업 성공률을 달성했다.
- 결과는 자원 제약 속 효과적인 평생 학습이 더 많이 기억하는 것이 아니라 무엇을 기억할 가치가 있는지 학습하는 데 달려있음을 시사한다.