에이전트 진화의 병목, 개선 감지 불가능성
원제 The Resolution Hypothesis: Agent Evolution's Key Is Identifying Improvements
추천 39댓글 8
Key Point
에이전트 자동 개선이 실제로는 더 나은 아티팩트 생성 실패가 아니라 평가 신뢰도 문제로 인해 막힌다는 발견이 현재의 에이전트 진화 연구 방향을 근본적으로 재검토하게 한다.
핵심 요약
- 에이전트 진화는 제안자가 프롬프트·기술·메모리 같은 후보 아티팩트를 생성하고 평가 점수가 높은 것들을 선택하는 반복 루프로 작동한다.
- 논문은 에이전트 진화가 정체되는 근본 원인을 '해상도 가설'로 제시한다: 더 나은 아티팩트를 제안하지 못해서가 아니라 노이즈 많은 평가가 개선을 신뢰성 있게 식별하지 못하기 때문이다.
- 7가지 진화 방법과 6개 모델로 1천만 회 이상의 LLM 호출을 거친 실험에서 가설의 타당성을 확인했다.
- 후보 선택 단계에서 도움이 되는 아티팩트들이 존재하지만, 선택 메커니즘이 무해한 것과 해로운 것을 구별하는 데 무작위 수준이어서 오류가 누적된다.
- 방법 비교 단계에서 발표된 순위는 보통 수 퍼센트 포인트 차이인데, 이는 같은 방법을 두 번 독립적으로 실행한 결과 차이보다 작아 운에 크게 의존한다.
- 논문 결론은 더 많은 개선 제안 시스템을 설계하는 것에서 벗어나 진정한 개선을 탐지·누적 가능하게 만드는 데 집중해야 한다는 것이다.