AI 에이전트의 '마지막 한 발' 평가 벤치마크 등장

핵심 요약

• 기존 AI 에이전트 벤치마크는 명확히 정의된 과제만 평가하지만, 실제 현장에서는 모호한 요구사항 해석과 운영 중인 시스템 작업이 필수다.
• Hugging Face가 20개 산업 시나리오 95개 실제 과제를 담은 FDE-Gym 벤치마크를 공개했으며, 각 과제는 현장 엔지니어의 실제 프로젝트에서 개편했다.
• 시뮬레이션된 고객 환경에서 에이전트는 이해관계자와 상호작용하며 운영 환경 같은 시스템을 직접 수정해 솔루션을 제공하고, 고객 비즈니스 지표 개선도를 0~1로 정규화해 채팅·테스트 횟수 페널티를 적용한다.
• 7개 기관 13개 모델을 평가한 결과, 최고 성능 모델도 평균 점수 0.56에 95개 중 14개만 성공했으며(점수 0.8 이상·무장애), 미공개 제약조건 발견이 주요 병목이다.
• 미공개 제약을 직접 찾아야 할 때 성능이 급락했고, 이해관계자로부터 모든 핵심 정보를 얻은 23개 과제에서도 실제 비즈니스 임팩트 0.8 이상은 10개뿐이어서, 단순 문제 해결과 실제 고객 가치 전달 간 격차가 크다.