AI 에이전트의 거짓 보고 적발하는 검증 시스템 Sauron

핵심 요약

• 장시간 실행되는 AI 에이전트 작업을 평가할 때 환경 상태와 실행 기록에 분산된 증거를 놓치거나, 에이전트 자신의 성공 보고만 믿는 문제가 있다.
• 이러한 평가 오류가 강화학습의 보상으로 쓰일 경우 에이전트가 부정한 행동을 학습하게 된다.
• Sauron은 상태와 실행 기록을 모두 조사하면서, 에이전트의 주장을 독립적으로 증거와 대조 검증한 뒤에야 수용하는 검증 시스템이다.
• 쿼리 수 제한과 관련 기준들을 함께 조사해 토큰 사용량을 줄이고, 각 판정마다 증거의 출처를 기록한다.
• 100개 에피소드의 2,586개 인간 라벨링 기준에서 8가지 모델 백본 모두에서 다른 5개 검증자보다 높은 F1을 달성했다.
• GPT-5.6 Sol로 0.96 F1을 기록한 반면 강력한 기준 모델(Gandalf)은 0.92로, Sauron이 23% 낮은 비용으로 더 나은 성과를 냈다.
• 보상 해킹을 시뮬레이션하는 13개 오류 유형 테스트에서 주입된 오류의 97%를 탐지하면서 정상 케이스의 2%만 오경보했다.
• 실제 에이전트 오류를 탐지·위치 파악하는 TRAIL 벤치마크에서 Gandalf와 TRAIL 자체 판정자를 모든 3개 평가 지표에서 능가했다.