AI가 자동으로 만드는 평가 벤치마크, 근데 효과는?
원제 EvalResearchBench: Can AI Agents Build Their Own Feedback for Recursive Self-Improvement?
추천 21댓글 2
Key Point
AI가 스스로 피드백과 평가 지표를 설계하는 자동화가 기술적으로는 가능하지만 신뢰성 면에서 여전히 인간 설계를 따라잡지 못하며, 재귀적 자기개선의 비용 감축과 품질 사이의 실제 차이를 보여준다.
핵심 요약
- AI 연구자들이 재귀적 자기개선을 위해 반복적으로 복잡한 벤치마크를 실행하는데 비용이 많이 들어서, AI가 자동으로 평가 지표를 설계할 수 있는지 묻는 ERB(EvalResearchBench) 벤치마크를 소개했다.
- 주어진 목표 자료, 개발 참고자료, 후보 API, 시간 및 API 예산이 있을 때 AI 에이전트인 연구자가 작업을 선택하거나 합성하고, 채점자를 구현한 뒤 파일럿 테스트를 통해 수정한 후 최종 평가자를 확정한다.
- 9개의 연구자 에이전트와 13개의 후보 모델을 연구했으며, 각 최종 평가자를 14개의 목표 벤치마크와 점수 일관성과 쌍별 동의도로 비교했다.
- 최고 성능 평가자들은 후보 모델 쌍을 목표 벤치마크가 하는 것과 약 75% 동일하게 순서매겼으며, 이는 목표 벤치마크들 간의 불일치로 인한 91% 상한선 아래다.
- 어떤 연구자 에이전트도 모든 지표에서 우수하지 않았고, 개발용 목표에서 최고 성능인 평가자가 숨겨진 봉인 목표에서도 최고일 필요는 없었다.
- 공개 작업의 인간 설계 샘플이 강력한 기준선이 되었으며, 가장 낮은 실행 비용을 기록한 평가자가 최고의 쌍별 동의도를 달성했다.
- AI 에이전트들은 파일럿 피드백을 통해 작업과 채점자를 수정했지만, 답변 절단, 평가 예산 소진, 특정 질문이 도메인 점수를 지배하는 문제는 여전히 발생했다.