LLM 에이전트 성능과 비용을 동시에 최적화하는 파레토새들러

핵심 요약

• LLM 에이전트의 응답 품질을 개선할 수 있는 하네스(harness) 최적화는 모델 가중치를 수정하지 않고도 성능을 높일 수 있지만, 기존 방법은 품질 개선에만 초점을 맞춰 왔다.
• 파레토새들러는 중간 후보 선정과 최종 배포 선택을 분리하여 품질과 비용을 동시에 최적화하는 방식을 제안한다.
• 각 반복 단계에서 최적화 프로그램이 부모 하네스를 업데이트하여 후보를 생성하고, 반복 실행으로 비교한 후 베이지안 부트스트랩 파레토 서포트를 사용하여 품질 또는 비용에서 신뢰할 만한 진전을 보이는 후보를 선정한다.
• 선정된 후보는 더 광범위한 평가를 받으며 이후 최적화 단계에서 부모로 활용될 수 있다.
• 클로마크에서는 품질을 70.86%에서 81.35%로 개선하고 비용을 작업당 1.17달러에서 1.01달러로 감소, 가이아2에서는 품질을 56.22%에서 62.89%로 개선하고 비용을 작업당 0.78달러에서 0.45달러로 감소시켰다.
• 파레토 선정 하네스는 품질만 최적화한 하네스보다 더 낮은 비용으로 더 높은 품질을 달성했다.
• 분석 결과 파레토 인식 최적화는 배포 선호도에 따라 버려질 수 있지만 이후 개선을 지원할 수 있는 중간 후보들을 유지하며, 베이지안 부트스트랩 필터링은 실행 간 증거가 약한 후보를 제외한다.