AI 에이전트 프롬프트, 성능·비용 균형 맞춰 자동 개선
원제 HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs
추천 27댓글 2
Key Point
AI 에이전트 성능을 높일 때 비용 증가를 피할 수 없던 문제를 해결하는 자동화 기법으로, 실무 배포 환경에서 비용·성능 트레이드오프를 실제로 선택 가능하게 한다.
핵심 요약
- AI 에이전트의 작업 수행 능력을 높이는 '하네스(harness, 프롬프트 템플릿)' 개발에서 기존 반복 개선 방식은 성능 향상 대신 실행 비용을 크게 올린다는 문제가 있다.
- HarnessPro는 정답 데이터 없이 LLM이 생성한 테스트로만 후보 하네스를 평가하는 레이블 무료 진화 방법을 제안한다.
- 전문 에이전트가 실행 궤적을 진단하고 성능·비용 우선순위에 따라 업데이트를 계획해 후보 하네스로 구현한다.
- 정규화된 가중 제곱거리 선택 방식으로 저비용(lite), 균형(medium), 고성능(heavy) 세 가지 하네스를 제공해 배포 예산에 맞춘다.
- 선택된 하네스는 다음 반복으로 진입하며, 실행 피드백이 추가 업데이트를 안내한다.
- Terminal-Bench 2, SWE-Bench Pro, ProgramBench 세 벤치마크에서 GPT-4o with Codex 사용 시 heavy 모드가 기존 RHO 대비 평균 통과율 2.0 포인트 향상과 작업당 비용 26.1% 감소를 달성했다.
- GLM-5.2 with Claude Code 조합에서도 같은 이점을 유지했다.