4B 모델로 컴퓨터 조작 에이전트 SOTA 달성
원제 Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses
추천 11댓글 1
Key Point
파라미터 수가 작으면서도 복잡한 컴퓨터 조작 작업을 수행할 수 있는 에이전트 개발 방법이 제시되어, 온디바이스 AI 활용과 효율적인 에이전트 학습의 새로운 가능성을 보여준다.
핵심 요약
- Mage-VL-Cowork는 GUI 상호작용과 코드·터미널 실행을 하나의 정책으로 통합하는 4B 파라미터 하이브리드 컴퓨터 사용 에이전트(CUA)다.
- 일반적인 멀티모달 정렬 체크포인트에서 출발해 미드트레이닝·감독학습·강화학습을 포함한 5단계 점진적 교육 과정을 거친다.
- Mage-CUA-Forge는 작업별 에이전트 구성을 재사용 가능한 스킬 조건부 생성 워크플로우로 대체하여 293,806개의 데스크톱·웹 작업을 6,915개 스킬로 합성한다.
- 이 접근 방식으로 작업당 반복 비용을 82.6% 감소시켰다.
- 기본 교사 모델을 직접 증류하는 대신 교사 하니스를 진화시키고 전문화된 CUA 하니스를 구성해 고품질 궤적과 단계별 감독을 생성한다.
- Mage-VL-Cowork-4B는 OSWorld-Verified 벤치마크에서 66.0%의 성능을 달성하며, 파라미터 크기 대비 최첨단 성능을 보이고 추론 비용도 더 효율적이다.
- 4B 규모에서 온디바이스 지능의 경계를 확장하는 성과다.