LLM 에이전트, 외부 모델 없이 자기개선한다
원제 ClawLoop: Self-Improving Agents via Harness-Native Training Loop
추천 20댓글 1
Key Point
기존 LLM 에이전트 학습은 외부 모델과 인간에게 종속되어 근본적 한계가 있는데, ClawLoop은 순환 루프로 자동 개선을 실현하고 작은 모델에도 지식 전이가 가능함을 증명하며 에이전트 학습 패러다임의 전환을 시사한다.
핵심 요약
- LLM 기반 에이전트가 파일 시스템·셸과 직접 상호작용하는 하네스 환경에서 작동하지만, 기존 학습 파이프라인은 외부 강력한 모델에 의존하는 일회성 방식에 머물고 있다.
- ClawLoop은 외부 교사 모델 없이, 최소한의 사전 지식으로 에이전트가 자기개선하는 자체 순환 프레임워크를 제안한다.
- 과제 합성·진단 기반 난이도 성장·에이전트 기반 검증으로 다양한 학습 과제 풀을 생성하고, SFT와 RL로 에이전트를 업데이트한 후, 롤아웃 행동 분석으로 다음 반복의 피드백을 생성한다.
- Qwen 3.6-27B 모델로 실행한 ClawLoop은 SkillsBench, Claw-Eval-Live, ClawGym-Bench에서 일관된 개선을 달성했다.
- 반복 개선된 학습 과제가 Qwen 3.5-4B, 9B 같은 작은 모델에도 전이되어 모든 벤치마크에서 성능 향상을 보였으며, 루프 모델과 독립적인 데이터 품질을 검증했다.