System One/Two 인지로 AI 에이전트 메모리 최적화
Key Point
장시간 작업을 처리하는 AI 에이전트의 성능과 속도가 메모리 관리 효율성에 달려있고, 이 논문이 기존의 비싼 LLM 기반 메모리 시스템을 크게 개선하는 구조를 제시한다.
핵심 요약
- Jev-Mem은 인간의 빠른 사고(System One)와 느린 추론(System Two)을 모방한 AI 에이전트 메모리 아키텍처다.
- System One 제어부가 메모리 타입 지정, 관계 조직화, 쿼리 라우팅, 검색 예산 할당, 그래프 순회, 후보 점수 매김, 적응형 중단을 담당한다.
- System Two는 복잡한 추론과 답변 종합이 필요할 때만 호출되어 LLM 생성 비용을 줄인다.
- 기존 방식은 메모리 작업의 모든 단계에서 LLM을 사용해 비효율적이었다.
- LoCoMo 벤치마크에서 점수 0.777(기준 대비 11% 향상), 메모리 구성 시간 158초(6.6배 가속), 평균 쿼리 지연 0.93초(36.7% 감소)를 달성했다.