코딩 에이전트 훈련, 정책뿐 아니라 도구까지
원제 Training the Whole Agent, Not Just the Model
추천 14댓글 2
Key Point
코딩 에이전트의 훈련 방식을 근본적으로 바꾸면서 SWE-bench에서 유의미한 성능 향상을 보여줘, 실제 소프트웨어 엔지니어링 작업을 자동화하는 에이전트의 실용성이 높아진다.
핵심 요약
- 기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다.
- HarnessAdapt-RL은 강화학습 중 정책과 함께 에이전트의 도구·훅을 적응시키는 방식이다.
- 잘못된 수리 전략에는 고정된 교사 모델이 작업별 메커니즘 레벨의 스킬을 생성하고, 여러 작업에 반복되는 상호작용 문제에는 별도 교사 모델이 도구와 훅을 진화시키되 통과율이나 학습 가능한 비율을 개선할 때만 유지한다.
- 9B 기본 모델에서 HarnessAdapt-RL은 GRPO 대비 SWE-bench Verified에서 9.8, Multilingual에서 12.6, Pro에서 6.4 포인트 향상된 통과율을 달성했다.
- 메커니즘 레벨 스킬은 평가 시 제거 후에도 성능 향상이 유지되고, 정책 변화에 따라 도구와 훅을 재진화하면 초기 버전을 고정하는 것보다 낫다.
- 배포 시 도구와 훅을 제거하면 최대 7.7 포인트 손실이 발생하므로, 훈련 결과는 정책과 진화한 도구·훅(스킬은 배포 시 제거)으로 이루어진 모델-도구 쌍이 된다.