LLM 에이전트 자체 학습 능력 강화법 제시

핵심 요약

• LLM 에이전트가 모델 파라미터를 업데이트하지 않고 실행 경험에서 학습하는 harness self-evolution에서, 같은 스킬이 강한 모델과 약한 모델에 미치는 영향이 크게 다르다는 문제를 발견했다.
• 7개 모델과 3개 벤치마크에서 103개의 작업-스킬 조합을 분석한 결과, 어떤 스킬은 GPT-5.6-luna의 성능을 31.1점 높였지만 Gemma-4-E4B의 성능을 8.8점 낮췄다.
• 약한 모델의 실패 사례 86%에서 스킬 자체에 이미 명시된 요구사항을 위반했으므로, 실행자의 능력에 맞게 스킬을 재작성하는 skill adaptation을 제안했다.
• 도구 실행, 컨텍스트 관리, 명령 준수, 검증 단계에서의 실패를 진단하고, 이를 바탕으로 harness self-evolution 중 스킬 적응을 안내하는 메타-스킬을 개발했다.
• 외부 모델 Kimi-K3이 메타-스킬 지침에 따라 실행 증거 없이 스킬을 적응시킨 결과, 약한 3개 실행자의 성능이 원래 스킬 대비 5.1~14.1점 개선되었다.
• 5라운드 자체 학습 루프에서 각 모델이 실행 궤적과 검증자 피드백으로부터 자신의 스킬을 수정하도록 통합했을 때, Gemma-4-E4B부터 Kimi-K2.5까지 7개 실행자 모두에서 메타-스킬 적용 시 메타-스킬 없는 루프 대비 최종 점수가 2.0~5.1점 향상되었다.
• 이 방법은 LLM 에이전트의 자체 학습 체계를 더 효과적으로 설계하는 실용적 지침을 제시한다.