AI 에이전트의 작업 능력과 오류 복구를 분리 평가하는 벤치마크
Key Point
엔터프라이즈 환경에 배포되는 AI 에이전트의 실제 위험성은 정상 작동 능력이 아닌 장애 복구 능력에 있으며, 기존 평가 방식의 맹점을 드러내는 첫 체계적 벤치마크다.
핵심 요약
- Tool-using AI 에이전트를 평가하는 기존 벤치마크들은 단순한 작업 완료만 측정해 기본 계획 능력과 실제 운영 환경에서의 장애 복구 능력을 구분하지 못한다.
- 연구팀은 UndoBench를 제시해 8개 엔터프라이즈 도메인의 36개 기본 워크플로우와 36개 장애 시나리오로 이 둘을 분리해 평가한다.
- 동일한 시드로 실행한 쌍 비교 시험과 와이어 수준 영향 이력·환경 상태 오라클을 통해 두 능력을 독립적으로 측정한다.