LLM 에이전트는 사용자 습관을 제대로 학습하지 못한다

핵심 요약

• 장시간 상호작용 속 사용자 습관은 선택과 행동에 드러나는 암묵적 정보인데, 에이전트는 여러 대화 속에서 이를 추론해야 한다.
• 개별 관찰만으로는 습관의 부분적 증거만 제공할 수 있고, 과거 상호작용 기록만으로는 습관 추론과 적용을 보장하지 못한다.
• HABIT-Bench는 에이전트 메모리 시스템이 약한 증거에서 습관을 추론하고 이후 요청에 적용하는 능력을 평가하는 벤치마크다.
• 음식, 금융, 소프트웨어, 여행 분야의 수백 개 세션 데이터로 합성된 사용자 이력과 제어된 습관 그래프를 구성했다.
• 4지선다형 문제는 사용자 습관 추론과 적절한 적용 능력을 평가하며, 일시적 예외, 습관 변화, 사용자가 수락하지 않은 제안 등을 포함한다.
• Qwen3-235B-A22B와 GLM-5.3-Flash를 사용해 8가지 메모리 방법을 평가했다.
• 최고 성능 메모리 방법도 4개 도메인 전체에서 매크로 정확도 33.61%에 불과했다.
• 주석이 있는 증거를 직접 제공했을 때도 성능 향상이 제한적이었으며, 이는 과거 상호작용 접근과 습관 추론·적용 능력 간에 지속적 격차가 있음을 드러낸다.