LLM 에이전트, 과거 경험을 '필요할 때' 꺼내 쓴다
Key Point
에이전트 메모리 설계의 근본 패러다임이 바뀌고 있습니다. 쓰기 시점이 아닌 읽기 시점에 정제하는 방식이 실제로 더 나은 성능을 내는 만큼, LLM 에이전트 개발자들은 메모리 아키텍처를 다시 생각해야 합니다.
핵심 요약
- 기존 에이전트 메모리는 작업 완료 후 즉시 내용을 요약·저장하는데, 미래 어떤 질문이 필요할지 미리 알 수 없어 정보 손실이 발생한다.
- 새 논문은 원본 실행 궤적을 그대로 보관했다가 새로운 작업이 들어올 때 '읽기 시점'에 필요한 정보만 정제하는 JitMem(Just-in-Time Memory) 방식을 제안했다.
- 읽기 시점 정제는 현재 작업을 알고 있으므로, 장기간 신호 지연 없이 즉시 학습이 가능하고 관련 작업을 인위적으로 묶을 필요도 없다.
- ALFWorld, WebShop, τ²-bench 세 벤치마크에서 기존 방식 대비 각각 16.2, 16.3, 3.9 포인트 성공률 상승을 기록했다.
- 학습하지 않은 정제기도 기존 방식을 능가했으며, 이는 작업별 맞춤형 읽기 정제 자체가 핵심 성능 요인임을 시사한다.