사용자가 마음을 바꾸면? LLM 에이전트의 의도 표류 문제
원제 When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents
추천 11댓글 2
Key Point
LLM 에이전트가 실제 사용 환경에서 사용자가 요구를 수정할 때 기존 명령을 계속 따르는 실패 패턴을 체계적으로 측정하고 대응 방안을 제시했기 때문이다.
핵심 요약
- 다중 턴 상호작용에서 사용자 의도가 변할 때 LLM 에이전트가 취소된 요구사항을 계속 따르는 '의도 표류' 현상을 분석했다.
- 검증 가능한 작업을 의도 변화가 있는 대화로 변환하는 IntentFlux 벤치마크를 소개했고, 627개 사례에서 대화에 취소된 정보가 많을수록 평균 작업 점수가 0.476에서 0.384로 떨어진다.
- 8개 모델 모두에서 최종 작업을 진화하는 대화에서 복원해야 할 때 단일 턴 입력보다 완전히 올바른 해결책의 비율이 현저히 낮았다.
- 활성 요구사항을 명시적으로 유지하는 StateForge 방법을 제안했고, 이를 적용하면 평균 작업 점수가 0.367에서 0.467로 개선된다.
- 정답의 최종 상태를 제공해도 단일 턴 성능에 미치지 못했으며, 이는 상태 추정 오류만으로는 성능 격차를 완전히 설명할 수 없음을 시사한다.