코딩 AI, 스스로 실패를 분석해 개선하는 법 배우다

핵심 요약

• LLM 코딩 에이전트의 성능은 정책 모델과 환경 상호작용을 중개하는 harness(도구 호출 방식)에 의해 결정되며, 둘 중 하나만 최적화하는 것은 불충분하다.
• Self-HPO는 두 성분을 번갈아 최적화하는 자기개선 프레임워크로, 현재 정책이 자신의 실패를 분석해 새로운 harness 후보를 제안하는 H-스텝과 RL로 정책을 업데이트하는 P-스텝을 반복한다.
• 학습 중 어려운 작업들이 다음 라운드의 harness 탐색 대상이 되어, harness 최적화가 진화하는 정책의 실패 패턴에 계속 맞춰진다.
• 세 가지 코딩 벤치마크에서 Self-HPO는 harness만 또는 정책만 최적화한 기준 모델을 일관되게 능가했으며, Qwen3.5-35B의 평균 문제 해결률을 57.8%에서 64.8%로 향상시켰다.
• 성능 개선은 분포 밖의 설정에서도 일반화되었고, 최적화된 harness와 정책을 기본 버전과 짝지어도 각각 성능이 유지되며 합쳐진 효과가 개별 효과의 합을 초과한다.
• 더 강한 외부 모델(예: Claude Opus 4.8)을 harness 제안자로 사용하면 추가 성능 향상을 얻을 수 있다.