디지털 환경 통합 제어하는 AI 에이전트 MintAct 공개
원제 MintAct: A Unified Visual Agent for Digital Environments
추천 29댓글 1
Key Point
다양한 디지털 환경을 하나의 모델로 제어할 수 있는 AI 에이전트 기술이 실무 수준의 성능에 도달했기에 자동화 애플리케이션 개발에 영향을 미칠 수 있다.
핵심 요약
- Hugging Face가 모바일·데스크톱·웹 환경을 통합으로 제어하는 비전-언어 모델 MintAct를 발표했다.
- 2B부터 8B 규모로 학습된 MintAct는 UI 인식, 다단계 네비게이션, 시각 도구 사용을 한 모델에서 수행한다.
- 수백 개의 동시 환경 인스턴스와 비동기 강화학습 프레임워크로 도메인 간 학습을 효율화했다.
- OSWorld 벤치마크에서 48.9점을 달성하며 영역별 전문 모델과 동등한 성능을 보였다.