에이전트 진화의 함정, 벤치마크 점수가 실제 개선을 보장하지 않다
원제 Beneath the Surface: What We Overlook When We Talk About Agent Evolution
추천 25댓글 3
Key Point
벤치마크 점수 향상이 실제 신뢰도·효율성·이식성 개선을 보장하지 않는다는 것을 보여주며, 에이전트 진화 평가 방식의 근본적 재검토가 필요함을 제시한다.
핵심 요약
- 에이전트 하네스 진화를 통한 재귀적 자기 개선(RSI)은 모델 가중치 업데이트 없이 성능을 높이는 방법이다.
- 16개의 진화된 에이전트는 모두 새로운 작업을 얻은 반면 이전에 수행하던 작업들을 잃었다.
- 일반 작업의 한 사례에서는 신뢰도가 5.2포인트 올랐지만 10개의 이전 작업을 상실했다.
- 대부분의 신뢰도 향상도 배포 비용을 증가시켰다.
- 구체적 변경이 일반적 알림보다 효과적이지만, 결합 시 효과가 달라질 수 있다.
- 가장 높은 점수의 에이전트가 4개 풀 중 어디서도 가장 큰 평균 개선을 주지 못했다.
- 더 엄격한 선발 기준이 유용한 대안을 제외할 수 있다.
- 전이 학습에서 일반 작업은 두 하네스 유형 모두에서 성능이 떨어졌지만, 외부 계층만 사용한 하네스에서 코딩 작업은 개선됐다.
- EvoAudit는 이러한 진단을 선택·분석·변이·게이팅 개선으로 전환하여 최고 성능을 달성했다.