실제 업무 환경에서 에이전트 능력을 측정하는 벤치마크 공개
원제 CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments
추천 11댓글 2
Key Point
실제 비즈니스 환경에서 언어 모델 에이전트의 신뢰성을 평가하는 방식이 바뀌고 있으며, 정책 준수와 운영 비용을 함께 측정하는 기준이 필요한 상황이기 때문이다.
핵심 요약
- CRM(고객관계관리) 작업을 통해 언어 모델 에이전트의 실무 역량을 평가하는 벤치마크 'CRM-Agent-Bench'를 공개했다.
- 555개의 상태 변화 멀티턴 작업을 9개 비즈니스 도메인과 36개 능력 태그로 구성해 실제 운영 환경을 모사한다.
- 각 작업마다 실행 가능한 계약을 제공하며, 이는 액션·인수·순서·응답·목표 상태·보호된 상태에 대한 검사 항목들로 이루어진다.
- 성공 여부는 해당 작업에 명시된 모든 검사 항목을 동시에 만족하는 엄격한 기준으로 판단한다.
- 16개 시스템 평가 결과 엄격한 성공률은 64.32%~83.60% 범위이며, 상위 시스템들은 비용과 도메인별 신뢰성에서 크게 다르다.
- 벤치마크는 비즈니스 거래 무결성과 정책 준수를 감사 가능한 방식으로 측정하며, 모델 개선에 따른 확장을 고려한 이식 가능한 구조를 제공한다.