AI 동료의 협업 능력 키우는 학습 환경 자동 생성
원제 CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents
추천 40댓글 4
Key Point
AI 에이전트가 실제 업무 환경에서 도구를 조합하고 다단계로 소통하며 학습하는 방식이 어떻게 체계화되는지 보여주며, 구체적 성능 향상 수치로 실용 가치를 입증한다.
핵심 요약
- AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다.
- CoworkEnv는 이런 AI 동료를 위한 실행 가능한 학습 환경을 자동으로 생성하는 프레임워크다.
- 업무 요구사항이 작업 구성을 가이드하고, 프로그램 검증과 피드백 기반 수정으로 사양과 채점 방식을 자동 생성한다.
- 교사 에이전트 실행으로는 지도학습(SFT)용 시연 데이터를 만들고, 학생 에이전트와의 상호작용에서 강화학습(RL)용 결과와 보상을 수집한다.
- Qwen3-VL-8B-Instruct 모델에 SFT를 적용했을 때 Claw-Eval 점수가 46.6에서 64.1로 올랐으며, 다중 턴 작업에서는 31.9점 향상을 기록했다.
- SFT만 적용한 확장 버전이 ClawMark 벤치마크에서도 효과를 보여 다른 AI 동료 평가 기준에도 적용 가능함을 입증했다.
- 보상 처리와 신용 할당을 다양하게 설정한 RL 학습 역학을 비교 분석했으며, 개선된 학습 보상이 정책 최적화를 지원함을 확인했다.