Hugging Face 논문AI · 머신러닝

에이전트 진화의 함정, 벤치마크 점수가 실제 개선을 보장하지 않다

원제 Beneath the Surface: What We Overlook When We Talk About Agent Evolution

추천 25댓글 3Xiaobo Wang, Zimu Wang, Siyu Ye 외
Key Point

벤치마크 점수 향상이 실제 신뢰도·효율성·이식성 개선을 보장하지 않는다는 것을 보여주며, 에이전트 진화 평가 방식의 근본적 재검토가 필요함을 제시한다.

핵심 요약

  • 에이전트 하네스 진화를 통한 재귀적 자기 개선(RSI)은 모델 가중치 업데이트 없이 성능을 높이는 방법이다.
  • 16개의 진화된 에이전트는 모두 새로운 작업을 얻은 반면 이전에 수행하던 작업들을 잃었다.
  • 일반 작업의 한 사례에서는 신뢰도가 5.2포인트 올랐지만 10개의 이전 작업을 상실했다.
  • 대부분의 신뢰도 향상도 배포 비용을 증가시켰다.
  • 구체적 변경이 일반적 알림보다 효과적이지만, 결합 시 효과가 달라질 수 있다.
  • 가장 높은 점수의 에이전트가 4개 풀 중 어디서도 가장 큰 평균 개선을 주지 못했다.
  • 더 엄격한 선발 기준이 유용한 대안을 제외할 수 있다.
  • 전이 학습에서 일반 작업은 두 하네스 유형 모두에서 성능이 떨어졌지만, 외부 계층만 사용한 하네스에서 코딩 작업은 개선됐다.
  • EvoAudit는 이러한 진단을 선택·분석·변이·게이팅 개선으로 전환하여 최고 성능을 달성했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗