컴퓨터 제어 AI, 쌍중 개선 루프로 성능 대폭 향상
원제 CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements
추천 90댓글 1
Key Point
컴퓨터 조작 AI가 현실 데이터의 다양성 부족을 극복하고 여러 벤치에서 경쟁력 있는 성능을 달성한 방법론이 공개됐다.
핵심 요약
- 컴퓨터 사용 에이전트(CUA) 개발의 병목은 학습 데이터의 다양성·제어성·신뢰성 부족과 자체 경험에만 의존한 개선 방식의 한계였다.
- CUA-Master는 두 겹의 재귀 개선 루프로 문제를 해결한다: 바깥쪽은 개방형 데이터와 모델의 약점을 피드백하는 '세계-데이터-모델' 사이클, 안쪽은 시드 작업 채굴과 자가촉매 전파로 다양한 학습 데이터를 생성한다.
- 시스템은 교육 영상에서 실제 작업 흐름을 추출한 뒤, 시각-의미론 이중경로 궤적 재구성으로 변환하고, 이를 재사용 가능한 기본 단위로 만들어 제어 가능한 합성 작업을 생성한다.
- 피드백 기반 스냅샷-롤백 재시도 메커니즘으로 다양한 실제 환경에서 효율적이고 신뢰성 높은 궤적 수집을 지원한다.
- CUA-Master-27B는 OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0의 점수를 달성했으며, 재귀 반복마다 지속적인 성능 향상을 보였다.
- 데이터 합성의 품질과 효율도 크게 개선됐다.