재귀 에이전트가 스스로 판단하도록 학습시키는 SERA
원제 Self-Evaluating Recursive Agents
추천 10댓글 2
Key Point
재귀 에이전트의 자기 평가 능력이 학습 효율과 성능을 동시에 높일 수 있다는 새로운 학습 패러다임으로, 외부 감독을 줄이면서도 복잡한 작업 분해 에이전트를 더 효과적으로 훈련하는 길을 열어준다.
핵심 요약
- 재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다.
- 기존 방식은 외부 검증자로 각 노드를 평가해야 하므로 계산 비용이 크고 분해 품질을 평가하지 못한다.
- SERA는 평가를 에이전트 정책 자체의 학습된 능력으로 전환한다: 부모 에이전트가 자식 작업에 대한 가중 성공 기준 룰브릭을 작성한다.
- 검증된 결과에 대한 순위 목적함수로 룰브릭 생성을 학습시켜 기준이 실제 부작업 성공을 추적하도록 한다.
- 추가로 리프 커버리지 신호가 작업 분해에 직접 신용을 제공한다.
- 정책이 정렬된 룰브릭을 생성하도록 학습하는 것이 핵심 이득을 낸다: 동일한 가중치로 평가와 실행을 모두 하므로 부작업 판단 학습이 해결 능력을 향상시킨다.
- 외부 감독이 줄어든다: 검증자는 룰브릭 생성 학습에만 사용되고, 해결은 에이전트의 룰브릭 점수로 학습되며 직접 검증자 사용보다 성능이 좋다.
- 학습된 룰브릭은 추론 시간의 트리 탐색 선택기로도 작동한다.
- TextCraft-Synth와 TextWorld-Sync에서 SERA는 강한 재귀 에이전트 베이스라인 대비 평균 5.38~13.14점 향상을 보였고, 룰브릭 기반 트리 탐색은 TextWorld-Sync에서 추가 2.43점 향상을 제공한다.