에이전트가 자가 개선하는 오케스트레이션 기법 R²Orch
원제 R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
추천 32댓글 1
Key Point
에이전트 시스템이 인간 개입 없이 자신의 약점을 스스로 찾아 개선하는 방식이 제시되어, 복합 작업 해결에 필요한 에이전트 아키텍처의 진화 방향을 보여준다.
핵심 요약
- 복잡한 작업을 여러 스킬을 조합해 해결하는 에이전트 오케스트레이션은 수작업 커리큘럼, 롤아웃이 같은 결과에 도달할 때의 이점 붕괴, 신뢰할 수 없는 평가 신호 같은 문제가 있다.
- 이를 해결하기 위해 R²Orch는 내부 루프의 자가 대전으로 오케스트레이터를 개선하고 외부 루프로 내부 루프의 개선 방식 자체를 개선하는 재귀적 자가 대전 오케스트레이션 패러다임을 제안한다.
- 핵심은 '재귀적 학습 가능성(Recursive Learnability)' 목표로, 제안자가 스킬 철수 시에도 롤아웃이 계속 다양한 결과에 도달하는 작업을 선택하도록 보상한다.
- 스킬 철수(Skill Withdrawal) 기법에서는 자가 대전 내 제어된 평가로 오케스트레이터가 특정 스킬 없이도 동일하게 수행하면 그 스킬을 철수한다.
- 두 루프가 한 사이클을 이루는데, 실패는 스킬로 증류되고 스킬은 파라미터로 변환되며 철수는 제안자를 새로운 실패로 이끌어 오케스트레이터가 점진적으로 스킬 의존도를 줄인다.
- 질문 응답, 수학, 코드, 대화형 작업 등 12개 데이터셋에서 R²Orch가 모든 기준선을 지속적으로 능가했다.