컴퓨터 사용 AI 에이전트, 오픈소스로 학습 환경 대규모 생성
원제 Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
추천 88댓글 2
Key Point
컴퓨터 상호작용을 수행하는 AI 에이전트 학습이 실제 환경의 안전 위험 없이 대규모로 가능해지는 방법이 제시되었고, 오픈소스만으로 구축 가능함을 입증했다.
핵심 요약
- Agent World Model in the Wild(WildAWM)는 컴퓨터 사용 에이전트(CUA) 학습을 위한 대규모 환경 합성 파이프라인으로, 실제 시스템에서의 위험 없이 상호작용 학습을 가능하게 한다.
- 기존 단일 인터페이스 접근과 달리, 그래픽 사용자 인터페이스·모델 컨텍스트 프로토콜 서비스·커맨드 라인 인터페이스를 함께 지원해 시각 상호작용·도구 사용·코드 실행을 자유롭게 조합할 수 있다.
- 오픈소스 모델만으로 구성되어 있으며, 폐쇄형 최신 모델 없이도 고품질 컴퓨터 사용 환경 생성이 가능함을 보여준다.
- 작업 합성의 핵심 과제인 해결 가능성·난이도 유지·신뢰할 수 있는 검증기를 위해 실행 기반 품질 게이트·다중 에이전트 롤아웃·교차 판정 일관성 검사·견고성 반사실적 검사를 도입했다.
- 100 스텝 이상이 필요한 341개의 장기 환경-작업 쌍을 생성했으며, 최신 모델 GPT-4o-Astra도 60% 정도만 해결할 수 있을 정도로 난이도가 높다.
- Qwen 모델 두 가지를 이 합성 세계에서만 훈련해 웹·클로우·컴퓨터 사용 에이전트 벤치마크 8개에서 크로스도메인 성능 향상을 달성했다.
- 학습이 보지 못한 컴퓨터 사용 작업으로도 널리 일반화됨을 입증했으며, 코드는 공개되었다.