모바일 에이전트 성능 비약 MobileGym++로 일상 앱 제어 학습
원제 OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools
추천 40댓글 4
Key Point
모바일 AI 에이전트가 일상 앱을 자동 제어하는 수준이 실제 기기에서 거의 2배로 개선되었으며, 12,000개 데이터와 300개 도구 같은 대규모 공개 자산이 학계의 진입장벽을 낮춘다.
핵심 요약
- OpenMobile-2는 완전히 공개된 훈련 환경과 레시피로 모바일 에이전트를 구축한 시스템이다.
- MobileGym++은 실제 상용 앱을 모방한 35개 앱으로 시작하며 안드로이드 에뮬레이터의 앱들을 포함해 총 110개 이상의 앱을 제공한다.
- 교차 앱 워크플로우를 지원하면서도 리셋과 검증을 위해 완전한 제어 가능성을 유지한다.
- 약 12,000개의 모바일 상호작용 궤적을 감독 학습용으로 수집했고, 자동 보상을 포함한 2,000개 이상의 실행 가능 작업으로 구성된 공개 강화학습 훈련 데이터를 확보했다.
- 에이전트가 GUI 조작과 앱 네이티브 도구 호출을 혼합 사용할 수 있도록 하는 하이브리드 모드를 도입했으며, 50개 이상 앱에서 300개 이상의 신중하게 설계된 도구를 제공한다.
- MobileGym++ Bench는 복잡한 장기 상용 모바일 시나리오를 위한 벤치마크로, GUI 전용 및 하이브리드 GUI-도구 평가를 공통 작업 세트에서 지원한다.
- AndroidWorld에서 79.9, MobileWorld에서 50.4의 경쟁력 있는 성능을 달성했고, 실제 기기 사용에서 SPA-Bench 성능을 31.9에서 59.6으로 거의 2배 향상시켰다.
- 모든 자원은 https://os-copilot.github.io/OpenMobile2-Home/에서 공개되어 있다.