LLM 에이전트의 메모리 효율화, 강화학습으로 최적화

핵심 요약

• LLM 에이전트 시스템에서 메모리는 상호작용 간 정보 보유와 재사용을 지원하지만, 기존 방식은 쿼리를 고려하지 않고 메모리를 구축해 불필요한 전처리 비용과 정보 손실을 초래한다.
• MemPilot은 성능·비용·지연 시간 우선순위에 따라 요청 시 메모리를 정리하는 유연한 프레임워크를 제시한다.
• 강화학습으로 최적화한 다단계 정책을 통해 사전 구축 메모리 검색과 쿼리 특화 정리 중 선택하며, 증거량·정리 지시·모델 선택·이미지 접근을 통합 제어한다.
• 이는 LLM과 VLM 같은 이종 모델들을 활용해 멀티모달 이력을 정리하고, 런타임 계산을 세밀하게 배분한다.
• 목표 간 충돌을 해결하기 위해 목표별 이득 분리로 각 목표의 이득을 따로 추정한 후 집계한다.
• 다단계 롤아웃에서 정확한 신용 배분을 위해 접두사 기반 한계 효용 추정을 도입했다.
• 5개 멀티모달 에이전트-메모리 벤치마크에서 성능·비용·지연 트레이드오프를 측정한 결과, 기존 방법보다 넓은 최적화 경계를 달성했다.