프롬프트 진화 알고리즘 비교하는 오픈소스 프레임워크 RSIHub
원제 RSIHub: A Composable Framework for Agent-Evolution Methods
추천 46댓글 2
Key Point
Agent-evolution 연구자들이 각자 실험 환경을 처음부터 짜는 낭비를 없애고 방법 간 공정한 비교를 할 수 있는 표준 프레임워크가 등장했기 때문이다.
핵심 요약
- AI 에이전트의 프롬프트, 스킬, 도구, 오케스트레이션을 실행 피드백으로 개선하는 Agent-evolution methods 연구가 늘고 있으나, 각 논문이 비슷한 실험 환경을 반복해서 구축해야 하는 문제가 있다.
- 이를 해결하기 위해 RSIHub라는 오픈소스 프레임워크를 개발했으며, 재사용 가능한 연산자와 변경 가능한 리소스를 조합한 레시피를 작성하면 실행·평가·복구·계보 추적을 자동으로 처리한다.
- AHE, Hyperagents, A-Evolve, GEPA 등 4가지 기존 방법을 RSIHub 핵심 코드 수정 없이 구현했으며, 각 방법의 특정 로직은 레시피와 연산자에만 담긴다.
- MiniSWE와 Codex 모델을 이용해 Terminal Bench 2와 τ³ Banking 벤치마크에서 평가했을 때, 최대 13.5 percentage points의 pass@1 성능 향상을 관찰했다.
- 방법 간 순위는 벤치마크에 따라 달라지며, 한 과제에서 얻은 최적화 이득이 다른 과제로 일반화되지 않는 한계가 있다.
- RSIHub는 진화 정책 비교를 위한 공통 프로토콜, 후보자 이력 검사 기능, 새로운 방법 개발을 위한 재사용 가능한 컴포넌트를 제공한다.