AI 에이전트의 '주도적 질문' 능력 학습법 제시

핵심 요약

• 도구를 사용하는 AI 에이전트는 보통 사용자가 명시적으로 요청한 것만 답하지만, 작업 완료에는 미요청 정보가 필요할 수 있다.
• 기존 주도성(proactivity) 연구는 에이전트가 독립 행동할지 여부만 연구했으나, 이 논문은 어떤 정보를 추구할지라는 콘텐츠 축을 새로 제시한다.
• 수평 주도성은 현재 맥락이 이미 식별한 미명시 정보를 추구하고, 수직 주도성은 초기 증거만이 드러내는 필요를 추구한다.
• 필요 그래프는 벤치마크 분해로부터 복구되며, 에이전트가 언제 멈추는지까지 모델 판단 없이 대화 기록으로 채점할 수 있다.
• Q&D(질문자와 초안 작성자) 방식은 상 모델이나 판사 없이 필요 증거를 더 많이 검색하는 질문을 선호하도록 질문자를 학습시킨다.
• 세 개의 다단계 질의응답 벤치마크에서 동일한 검색 비용으로, 학습된 질문자는 같은 모델(프롬프트)과 비교해 양쪽 주도성을 모두 개선했다.
• 같은 비용에서 15배 큰 프롬프트 모델을 두 벤치마크에서 능가했으며, 질문 수와 길이 제어 후에도 성능 향상이 유지됐다.
• 추가 학습 없이 모의 고객과의 대화형 고객 서비스 에이전트에 배치하니 더 적은 질문으로 더 많은 작업을 완료했다.
• 소매 업무에서는 15배 큰 모델을 고객의 팔로우업 턴이 적게 필요하면서도 능가했다.
• 연구진은 에이전트의 주도성이 독립 행동 여부뿐 아니라 추구할 내용과 멈출 시점에도 달려 있음을 보여준다.