LLM 에이전트의 검증기 생성 능력을 평가하는 벤치마크 공개

핵심 요약

• LLM 에이전트가 작업 완료 후 출력물을 검증하고 합성 학습 데이터를 필터링할 수 있도록, 주어진 지시사항과 환경으로부터 실행 가능한 검증기를 생성하는 능력을 연구했다.
• VerifierBench는 6개 에이전트 벤치마크에서 수집한 222개 작업으로 구성되며, 도구 호출·상태 기반·코드 검증 3가지 유형을 포함하고 4,993개의 숨겨진 테스트 케이스(대체 해결책 및 공격 포함)를 갖추고 있다.
• Verifier4Verifier(V4V)라는 6단계 감시 시스템이 소스 검증기와 테스트 스위트를 선별한다.
• 19개 모델에서 정규화된 균형 정확도는 10.6%에서 62.1% 범위였으며, 생성된 검증기들은 유효한 솔루션을 수용하는 것보다 유효하지 않은 솔루션을 거부하는 것에 더 신뢰할 수 있다.
• 이러한 장점은 지나치게 제한적인 검증을 가릴 수 있으며, 분석 기록의 대부분의 거짓 거부는 테스트된 어떤 솔루션도 수용하지 않는 검증기에서 비롯된다.
• 사례 연구에서는 솔루션 형식·도구 사용·코드 변경에 대한 지원되지 않는 가정들이 유효한 솔루션을 제외시킨다는 점을 드러냈다.
• 이러한 오류는 에이전트가 검증기의 잘못된 가정을 공유하는 솔루션을 테스트하거나 올바른 솔루션이 통과하는지 확인하지 않은 검증기를 제출하기 때문에 자가 테스트를 통과한다.
• 검증기가 올바른 솔루션을 수용하는지와 작업이 허용하는 다른 솔루션을 수용하는지 모두 테스트할 필요가 있다고 제안한다.