웹 에이전트 검증 재사용성 평가 벤치마크 공개

핵심 요약

• 웹 에이전트의 재사용 가능한 검증을 위해 변화하는 요구사항에 맞춰 규칙을 따르도록 하는 AgentProofBench 벤치마크를 소개했다.
• 97개 작업, 79개 작업 군, 4개 웹 서비스를 아우르며 동일한 저장된 초기 상태에서 실행되는 쌍을 이룬 테스트를 통해 규칙을 검증한다.
• DeepSeek Flash와 Pro 모델로 실험한 결과 48개 작업 군에서 Flash는 82/96, Pro는 79/96 소스 프로그램을 유지했으며 재사용-재구축 신뢰도 구간은 각각 [-5.47, 1.57]%p, [-10.16, 0.00]%p였다.
• 22개 실행 작업 군에서는 저장된 두 초기 상태 모두 정상적으로 실행되는 프로그램이 32/33개인 반면 패널 오류가 있는 경우는 1/11개로 나타났다.
• 참조 정의 프로그램 게이트 회귀와 미달 완료는 모두 패널 오류 그룹에서만 발생했다.
• 중립적 계속 수행이 테스트한 일반 피드백 중 가장 높은 정상 완료율을 달성해 게이트가 추가하는 가치 측정의 기준선이 된다.
• 모든 테스트 실패를 실행 결과에 연결하는 지시사항, 상태, 프로그램, 참조 규칙, 궤적을 공개해 요구사항 및 정책 수준 모두에서 재사용 가능한 검증을 평가할 수 있게 했다.