터미널 에이전트, 에러 복구로 자동 성능 향상
원제 ReTerm: Recovery Training for Self-Improving Terminal Agents
추천 20댓글 2
Key Point
터미널 에이전트의 에러 회복 능력이 실무 환경에서 실패율을 결정하는 핵심이며, ReTerm의 자가-개선 방식은 단순 미세조정을 넘어 실제 오류 상황에서 에이전트가 스스로 학습하고 개선되는 새로운 훈련 패러다임을 제시한다.
핵심 요약
- 터미널 에이전트는 복잡한 코딩 작업에서 강한 능력을 보이지만, 실행 중 명령 오류나 잘못된 구현 같은 오류에서 회복하지 못해 결국 실패하는 문제가 있다.
- ReTerm은 자신의 실패한 터미널 작업에서 회복하는 방법을 학습하여 스스로 개선하는 에이전트로, 훈련을 위해 맞춤형 데이터 파이프라인과 고품질의 회복 시연을 제공하는 ReTerm-10K 데이터셋을 구축했다.
- ReTerm-GRPO라는 온라인 강화학습 알고리즘을 제안하며, 에이전트의 실패 상태에서 여러 독립적인 자가-복구 시도를 생성하고 이들이 작업을 완료하는지 여부로 학습한다.
- Qwen3.5-9B 기반의 ReTerm-9B는 Terminal-Bench 2.0에서 Pass@1 34.8%를 달성하여 기본 모델보다 14.6포인트 개선했다.
- 다양한 오류 범주에 걸쳐 표준 GRPO 훈련보다 일관되게 높은 회복률을 보인다.
- 코드, 데이터, 모델 모두 GitHub에 공개되었다.