대규모 경험으로 AI 컴퓨터 제어 에이전트를 강화하는 NorthCUA
원제 NorthCUA Technical Report: Turbocharging Computer-Use Agents through Experience at Scale
추천 30댓글 1
Key Point
컴퓨터 제어 AI가 복잡한 소프트웨어 작업을 자동화할 수 있는 수준으로 도달하는 과정을 보여주며, 오픈소스 에이전트 개발의 새로운 기준을 제시한다.
핵심 요약
- NorthCUA는 컴퓨터 제어 에이전트를 복잡한 소프트웨어 작업까지 확장하기 위한 통합 시스템이다.
- Experience Flywheel이 다양한 실행 가능한 작업을 공급하고, NorthCUA Harness가 장시간 상호작용을 유지하며 의사결정을 기록하고 작업 결과를 검증한다.
- Flywheel은 이러한 기록으로부터 검증된 궤적(trajectory)을 선별하고, 해결되지 않은 작업은 재귀적 자가개선을 통해 재사용 가능한 스킬을 진화시키면서 검증된 마일스톤을 보존해 이전 진행 과정을 바탕으로 한다.
- Staged Learning이 이러한 경험을 Flywheel의 접지 데이터(grounding data)와 결합하여 중간 학습과 장기적 감독 미세조정을 통해 GUI 역량을 개발한다.
- 정책은 동일한 Harness에서 신선한 시도를 통해 데스크톱-웹 강화학습으로부터 학습하며, 경험 생산과 정책 개선 간의 루프를 닫는다.
- 결과적으로 Nano, Mini, Pro 제품군은 보고된 평가 설정 하에서 GUI 접지, 데스크톱 실행, 웹 상호작용 분야의 오픈소스 모델 중 최고 수준의 성능을 달성했다.
- 더 빠른 웹 워크플로를 위해 NorthCUA-Ultrafast는 RL 이전 Nano에 직접 행동 선택과 개방형 생성을 결합하여 성능과 지연시간 간의 측정된 트레이드오프를 제공한다.