컴퓨터 작업 에이전트, GUI와 CLI 결합으로 성능 대폭 향상

핵심 요약

• 기존 컴퓨터 사용 에이전트(CUA)는 GUI에만 의존하거나 특정 애플리케이션 API로 보완하는데, 전자는 비효율적이고 오류가 많고 후자는 확장성이 낮다.
• 연구팀은 GUI의 일반성과 셸 명령어의 효율성을 결합한 하이브리드 접근 방식을 제시했다.
• 핵심 문제는 현재 모델들이 작업 실행 중 CLI를 언제·어떻게 사용할지 모른다는 점이다.
• 이를 해결하기 위해 GUI 전용, CLI 전용, GUI와 CLI 혼합 궤적 세 가지를 생성하는 데이터 구성 파이프라인을 개발했다.
• 이 파이프라인으로 5,000개 하이브리드 궤적과 3,000개 검증된 RLVR 태스크를 포함한 HybridCUA-8K 데이터셋을 구축했다.
• 감독 학습(SFT) 후 CLI 인식 보상을 활용한 강화학습 2단계 훈련 방식을 적용했다.
• HybridCUA-9B 모델은 OSWorld에서 53.6% 정확도를 달성해 기본 모델 대비 14.8 포인트 향상, WindowsAgentArena에서는 4.0 포인트 개선했다.
• 결과는 컴퓨터 작업 에이전트의 하이브리드 GUI·CLI 패러다임의 효과성과 크로스 플랫폼 확장성을 입증한다.