모바일·PC 통합 GUI 에이전트 학습 플랫폼 MAI-Gym 공개
원제 MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments
추천 154댓글 2
Key Point
모의 앱에서 학습한 모델이 실제 기기에 직접 전이되는 결과는 GUI 에이전트 실용화의 큰 진전을 의미하며, 공개 플랫폼과 데이터셋은 이 분야의 반복 가능한 연구를 크게 가속화할 것으로 보인다.
핵심 요약
- 강화학습으로 수학, 코딩, 도구 사용에서 진전을 이뤘으나, GUI 에이전트는 상호작용 환경 구축 비용이 높고 학습 태스크가 부족해 확장이 어려웠다.
- Hugging Face가 모바일·PC·웹 환경에서 GUI 에이전트 평가와 온라인 강화학습 훈련을 통합하는 오픈소스 플랫폼 MAI-Gym을 공개했다.
- 통합 롤아웃 파이프라인으로 평가와 훈련 시 일관된 에이전트 동작을 보장하며, 10개 기존 벤치마크를 지원하고 2만 개 병렬 환경 인스턴스로 확장 가능하다.
- GUI 애플리케이션과 도전적 태스크를 자동으로 생성하는데, 초기화 가능한 모의 앱과 실행 검증된 태스크 검증기가 있는 일관성 있는 크로스앱 환경을 포함한다.
- MAI-Gym으로 학습한 9B 매개변수 규모의 통합 에이전트 MAI-Gym-9B는 MobileWorld에서 78.4%, OSWorld-Verified에서 76.2%를 달성해 같은 규모 오픈소스 GUI 에이전트 중 최고 성능을 보였다.
- 모의 열차표 예약 앱에서 학습한 강화학습이 실제 스마트폰의 동일 앱으로 전이되어, 태스크 성공률이 28.8%에서 48.1%로 향상되었다.
- 프레임워크, 합성 기술, 모의 앱, 2,000개 검증된 태스크, 모델 체크포인트를 공개해 재현 가능한 연구와 확장 가능한 GUI 에이전트 훈련 발전을 지원한다.