AI 에이전트의 자동 업데이트를 검증하는 통계 프레임워크
Key Point
자율 에이전트가 스스로 모델을 수정할 때 실제 성능 저하를 놓치는 문제를 해결하는 통계적 검증 방법이 필요한데, 이 논문이 엄격한 프레임워크를 제시한다.
핵심 요약
- 자율 AI 에이전트가 프롬프트, 메모리, 도구, 워크플로우, 정책을 상호작용 이력에 따라 수정하면서, 개선된 것처럼 보이는 변경도 실제로는 성능 저하를 숨길 수 있다.
- 논문은 증거 기반 진화(Evidence-Governed Evolution, EGE) 프레임워크를 제시하는데, 후보 생성 단계와 채택 확인 단계를 분리하고 신선한 쌍을 이루는 감사(paired audits)로 얼려진 후보를 평가한다.
- EGE는 미리 정해진 주요 목표에서 의미 있는 개선이 필요하고, 참조 비열등성 검정을 통해 선언된 능력을 보호하며, 제한된 카나리 배포 전 거버넌스 제약을 적용한다.