도구 사용 AI 에이전트, 증거 없이 행동하는 이유
원제 From Evidence to Action: How Tool-Using Agents Fail
추천 38댓글 3
Key Point
AI 에이전트가 올바른 결과를 내도 그 과정이 증거 기반이 아닐 수 있으며, 증거 확보-행동 실행 과정의 어느 단계에서 실패하는지 파악하는 것이 신뢰할 수 있는 AI 시스템 구축의 핵심이다.
핵심 요약
- 도구를 사용하는 AI 에이전트는 외부 상태를 변경하지만, 올바른 결과도 그 행동이 사전에 확보한 증거에 기반했다는 것을 보장하지 않는다.
- 증거 수집부터 단일 행동, 종속적 워크플로우 실행까지 단계별로 체인이 어디서 끊어지는지 분석하는 것이 이 연구의 목표다.
- 10가지 모델-장비 구성에서 강력한 정적 행동 평가가 훨씬 약한 대화형 실행과 공존할 수 있음을 발견했다.
- 실패는 대부분 실행 전에 시작되는데, 에이전트가 불완전한 조사로 멈추거나 필요한 증거가 확보되기 전에 행동하는 경우다.
- 필요한 증거가 확보되면 단일 행동 실행은 대부분 안정적이지만, 다중 행동 워크플로우는 미해결 전제 조건과 불완전한 실행을 추가로 노출한다.
- 이 분석을 위해 SafeActBench를 도입했으며, 이는 6개 운영 도메인과 정적 행동 판단에서 단일·다중 행동 워크플로우까지 진행하는 5가지 프로토콜에 걸쳐 656가지 사례를 포함한다.
- Evidence Ledger와 결정론적 궤적 평가자가 어떤 정보가 확보되었는지, 언제 행동이 발생했는지, 다운스트림 종속성이 충족되었는지 추적한다.
- 연구 결과 실패는 정보 부족뿐만 아니라 에이전트가 행동 결정 및 실행 시 확보된 증거를 어떻게 사용하는지에서도 비롯된다.