AI 에이전트가 언어모델을 자동으로 개선할 수 있을까

핵심 요약

• 언어모델의 자동 개선(재귀적 자기개선)을 평가하는 'ParetoRSI-Gym' 벤치마크를 제안했다.
• 에이전트가 데이터를 검색·선별하고 모델을 훈련한 뒤 도메인별 결과를 읽으며 반복하는 과정을 시뮬레이션한다.
• 수학·코드·금융·의학·과학 다섯 개 도메인에서 성능을 측정하되, 각 도메인마다 과적합 판단용 별도 벤치마크를 둔다.
• Claude Code와 Opus-5 조합이 가장 강한 성능을 보였으며, 세 개 기본모델과 다섯 도메인 평균 대비 일반화 점수가 9.2% 상승했다(절대값 +2.3점).
• 의료 도메인에서 최대 63%의 단일 도메인 성능 향상을 기록했고, 금융과 코드 등 다른 도메인에서의 회귀도 함께 측정했다.
• 초기 LLM·도메인·도구·훈련 파이프라인을 고정하고 데이터 선택만 변수로 두어, 에이전트별 독특한 데이터 선택 전략의 차이를 확인했다.
• 같은 모델이라도 에이전트 시스템(하네스)의 품질이 성능에 만큼 중요하다는 것을 보였으며, 실제 기계학습 엔지니어링 환경에서의 자동 개선 평가로의 발전을 제시했다.