장기 자동화 에이전트의 실제 제약 검증 벤치마크 BizBench 공개
Key Point
최고 성능 모델도 엄격한 제약 조건 평가에서는 60% 이하의 성공률을 보여주며, 결제·금융처럼 중간 단계 오류가 실제 손실을 초래하는 분야에서 에이전트의 신뢰성을 어떻게 평가할지 규정한 첫 벤치마크다.
핵심 요약
- 기존 장기 자동화 에이전트 벤치마크는 최종 성공 여부만 중시하며 중간 실행의 유효성을 제대로 평가하지 못하는 한계가 있다.
- 현실의 비즈니스 운영, 특히 결제 같은 고위험 도메인에서는 에이전트가 복잡한 정책을 따르면서 실행 전 과정에서 제약 조건을 만족해야 한다.
- 연구팀이 결제 회사의 실제 운영 절차를 기반으로 BizBench 벤치마크를 개발했다.