AI 연구 에이전트가 자기 자신을 개선하다
원제 Recursive self-improvement of AI research agents
추천 17댓글 1
Key Point
AI 에이전트가 자기 자신의 코드를 개선하는 자동화 루프에 성공하면, R&D 수익 감소 문제를 근본적으로 해결할 수 있는 경로가 열린다.
핵심 요약
- AI 연구 에이전트가 자신의 코드를 최적화하는 '재귀적 자기개선' 루프를 구현한 AIDE^2 시스템을 개발했다.
- AIDE^2는 자신의 코드를 수정 제안하고, 수정된 버전을 AI R&D 작업들로 평가한 후, 숨겨진 평가 세트에서 가장 좋은 성과를 낸 변경사항만 유지한다.
- 8일간의 자동 실행 중 AIDE^2는 새로운 탐색 정책과 에이전트의 성장하는 문맥을 압축·관리하는 메모리 메커니즘 등 7가지 연속적 개선을 발견했다.
- 발견된 개선사항은 머신러닝 엔지니어링, 휴리스틱 알고리즘 엔지니어링, 물리 기반 날씨 예측까지 4개의 미공개 벤치마크에 일반화되며, 마지막 작업은 선택 작업들과 분포가 다르다.
- 모든 4개 벤치마크에서 발견된 최강 에이전트는 FML-Bench 상위권 인간 설계 생산 에이전트와 동등하거나 초과 성능을 보였다.
- 별도의 미공개 작업군에서 발견된 에이전트들은 보상 해킹(reward hacking) 현상이 감소했으며, 명시적으로 최적화하지 않았는데도 비율이 55%에서 32%로 하락해 인간 설계 에이전트보다 7% 포인트 낮다.
- 이는 AI 연구 에이전트가 재귀적 자기개선을 통해 자신의 연구 효율성을 개선할 수 있으며, 이러한 개선이 루프가 만난 적 없는 작업과 영역에 전이된다는 것을 보여준다.