AI 에이전트 신뢰성 평가 벤치마크 'TraceTrial-Bench' 공개

핵심 요약

• LLM 기반 AI 에이전트의 신뢰성을 평가하는 새로운 벤치마크 TraceTrial-Bench를 제시했다.
• 기존 벤치마크는 모델 성능 중심이었으나, 이 연구는 에이전트를 지탱하는 하네스(harness) 신뢰성에 초점을 맞췄다.
• 하네스 신뢰성을 컨텍스트, 실행, 거버넌스, 라이프사이클, 관찰성, 도구, 검증 7가지 요소로 분류했다.
• 95개의 전문가 수준 작업을 설계했으며, 각 하네스의 고유한 동작을 유지하면서 의미적으로 동등한 비교를 가능하게 했다.
• Trajectory Tracing 모듈로 에이전트 실행 흔적을 캡처하고, 에이전트 성능과 하네스 신뢰성을 별도로 평가하는 이층 평가 프레임워크를 설계했다.
• Multi-source Evidence Acquisition 모듈은 에이전트 컨텍스트, 하네스, 실행 환경에서 증거를 수집하여 LLM 기반 평가를 지원한다.
• Failure Attribution 모듈은 명시적 메커니즘 체인을 사용해 실행 단계별 실패 원인 분석을 가능하게 한다.
• 4개 하네스, 9개 모델, 95개 작업에 대해 3,420개 실행을 평가한 결과 하네스 점수는 59.8%~72.0% 범위였다.
• 작업은 성공했으나 최소 하나의 하네스 기준을 실패한 경우가 31.1%로 나타났다.
• 이는 모델 능력만으로는 신뢰할 만한 에이전트를 보장할 수 없음을 보여준다.