장기 자동화 에이전트의 실제 제약 검증 벤치마크 BizBench 공개

핵심 요약

• 기존 장기 자동화 에이전트 벤치마크는 최종 성공 여부만 중시하며 중간 실행의 유효성을 제대로 평가하지 못하는 한계가 있다.
• 현실의 비즈니스 운영, 특히 결제 같은 고위험 도메인에서는 에이전트가 복잡한 정책을 따르면서 실행 전 과정에서 제약 조건을 만족해야 한다.
• 연구팀이 결제 회사의 실제 운영 절차를 기반으로 BizBench 벤치마크를 개발했다.
• 벤치마크는 789개의 지식 문서와 601개의 비즈니스 도구, 일관된 정책·상태·도구 동작을 갖춘 실행 환경을 구성한다.
• 자원 제약, 시간 의존성, 사전 약속, 모순되거나 오래된 지침을 포함한 50개 태스크로 이루어져 있다.
• 각 태스크는 참조 실행으로 검증되며, 결정적 검사를 통해 목표 달성과 실행 유효성을 평가한다.
• Claude Opus 5와 GPT-6 Sol은 엄격한 성공률이 각각 64.0%, 61.3%에 불과하며, Qwen3.8-27B는 목표 달성 42.0%에서 엄격한 성공은 32.7%로 떨어진다.
• DeepSeek-V4.1-Flash는 실행당 평균 191.3개의 도구 호출을 하는데, 이는 참조 실행보다 약 70% 많다.
• BizBench는 단순 태스크 완료를 넘어 신뢰성 있고 제약 조건을 준수하는 실행을 평가하는 테스트베드를 제공한다.