장기 작업 에이전트 훈련을 위한 반복적 환경 진화 방식 WorkRover
원제 WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution
추천 64댓글 1
Key Point
장기 작업을 수행하는 AI 에이전트의 훈련 효율을 대폭 개선하는 새로운 프레임워크로, 복잡한 작업 환경을 자동으로 정제하고 검증하는 방식이 기존 대비 크게 나은 성능을 달성했다.
핵심 요약
- 강화학습을 통해 장기 수행 에이전트를 훈련하기 위해서는 상호작용 환경을 확장하는 것이 중요하지만, 기존 구성 파이프라인은 작업 요소들을 정렬한 채 반복 개선을 지원하는 데 제한이 있다.
- WorkRover는 하니스 기반 합성으로 구성 에이전트가 의미론적으로 정렬된 작업 맥락, 실행 가능한 작업, 증거 기반 검증자를 함께 구축하고 고정 워크플로우 대신 작업공간 상태와 실행 피드백에 맞춰 조치하는 프레임워크다.
- 환경 진화를 지원하기 위해 의존성 폐쇄 재실행과 검증된 후보 중 가장 작은 수정안을 선택하는 Factorial Compatibility Replay(FCR)를 도입했다.
- 더 세분화된 훈련 신호를 제공하기 위해 Verifier-to-Turn Credit Assignment(VTCA)를 제안하며, 이는 궤적 수준 GRPO 이점을 결정론적 작업공간 진전 점검 신호로 보강하고 기록된 도구 출력과 산출물 의존성을 사용해 선제 조치에 긍정적 진전 신용을 배분한다.
- WorkRover로 Qwen3.5-35B-A3B를 후훈련한 WorkRover-35B-A3B는 JobBench에서 26.27 포인트, OfficeQA Pro에서 29.32 포인트, GDPval v2에서 413.25 Elo 포인트만큼 기존 모델을 초과하는 성능을 보였다.