비용 효율 중심 LLM 진화 알고리즘 FrugalEvo 공개
원제 FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution
추천 11댓글 1
Key Point
동일한 성능을 기존 대비 10~90배 저렴한 비용으로 달성하는 혁신적 비용 최적화 기법으로, LLM 기반 자동 프로그래밍의 실용성을 크게 높인다.
핵심 요약
- LLM 기반 진화 알고리즘의 기존 방식은 고정된 반복 횟수 내 성능 극대화에만 집중했으나, 실제 최적화는 단위 비용당 이득을 최대화해야 한다는 점에 착안했다.
- FrugalEvo는 고성능·고비용 LLM이 해결 전략을 탐색하고, 저비용 LLM이 이를 구현·반복 개선하는 2단계 진화 프레임워크다.
- 프롬프트와 하니스의 접두사 공유를 극대화해 LLM 캐시 재사용율을 높이는 효율적 진화 과정을 설계했다.
- 누적 LLM 비용 대비 최고 성능 곡선 아래 면적으로 측정하는 예산 인식 지표(BA-AUC)를 도입해 고정 비용 범위 내 해결책 품질을 평가한다.
- 수학·시스템 최적화 10개 과제에서 AlphaEvolve, OpenEvolve, ShinkaEvolve, AdaEvolve, EvoX 등 기존 방식보다 최종 성능이 동등하거나 우수하며, 9개 과제에서 더 높은 BA-AUC를 달성했다.
- ALE-Bench-Lite의 알고리즘 최적화 10개 과제에서도 모든 기존 방식보다 높은 평균 성능을 보였다.
- 원형 포장(circle packing) 문제에서는 GPT-5.6을 사용해 최첨단 성능을 1.68달러로 달성했으며, GLM-5.3 및 Flash 변형으로는 0.55달러만에 달성해, 평균 50달러가 소요되는 CORAL·SwarmResearch 같은 다중 에이전트 방식을 압도했다.