AI 에이전트의 작업 능력과 오류 복구를 분리 평가하는 벤치마크

핵심 요약

• Tool-using AI 에이전트를 평가하는 기존 벤치마크들은 단순한 작업 완료만 측정해 기본 계획 능력과 실제 운영 환경에서의 장애 복구 능력을 구분하지 못한다.
• 연구팀은 UndoBench를 제시해 8개 엔터프라이즈 도메인의 36개 기본 워크플로우와 36개 장애 시나리오로 이 둘을 분리해 평가한다.
• 동일한 시드로 실행한 쌍 비교 시험과 와이어 수준 영향 이력·환경 상태 오라클을 통해 두 능력을 독립적으로 측정한다.
• 12개 TEST 워크플로우에서 오픈웨이트 모델 2개, 프레임워크 2개, 복구 패러다임 3개로 5,760회 실행(2,880쌍 시험)한 결과 기본 작업 완료율은 83.54%인 반면 조건부 복구 성공률은 46.72%로 급락했다.
• 단순 재시도 방식은 시험의 53.33%에서 중복된 외부 영향(side effect)을 발생시키며, 상용 API 모델 확장 평가에서도 작업 능력과 복구 능력의 분리가 일관되게 나타났다.
• 복구 능력은 실행 단계에 따라 달라진다: 변경 전 단계에서는 성능이 비슷하고 중복 영향도 없지만, 부분 변경 중에는 단순 재시도·호출 단위 멱등성·권한 없는 저널링이 모두 실패한다.
• 커밋 후 승인 전 단계에서는 검증과 서버 측 멱등성이 안전성을 크게 개선한다.
• 이 연구는 명목상 작업 완료율만 평가하는 것으로는 자율 에이전트의 단계 의존적 복구 취약점을 놓칠 수 있음을 보여준다.