컴퓨터 자동 조작 AI의 완전 오픈소스 스택 공개
원제 OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use
추천 316댓글 4
Key Point
컴퓨터 자동 조작 AI 연구가 막혀 있던 폐쇄형 구현에서 벗어나 완전 오픈스택으로 전환되면서, 누구나 최신 모델의 설계를 따라하고 개선할 수 있는 기반이 마련되었다.
핵심 요약
- 컴퓨터 자동 조작 시스템이 GUI 상호작용에서 비주얼·프로그래밍 인터페이스를 모두 다루는 단계로 진화하고 있는데, GPT-4o Astra 같은 최신 구현들이 폐쇄적이어서 체계적 연구가 제한되고 있다.
- OpenGCUA는 이런 문제를 해결하기 위해 제너럴 컴퓨터 사용 에이전트(GCUA)의 전체 스택을 오픈소스로 공개하는 프로젝트다.
- 에이전트 설계의 핵심은 코드 실행 기능으로, 중간 결과가 다음 동작을 결정하게 하고 모델이 기존 프로그래밍 능력을 컴퓨터 상호작용에 직접 적용할 수 있다.
- 하네스-투-모델 결정 이동(harness-to-model decision transfer)으로 고정된 규칙 대신 관찰과 작업 상태 결정을 모델에 맡긴다.
- OSWorld-v2 벤치마크에서 전체 구성이 GPT-4o Astra·Claude Opus 5 포함 8개 모델 모두의 성능을 향상시켜, 부분 점수 평균 +19.6점 증가·단계 수 평균 53.0% 감소를 달성했다.
- 구현·프롬프트·8개 모델의 평가 궤적, 실제 기기 하네스 초판본·크로스 기기 SDK를 공개한다.
- 크로스 기기 SDK는 컴퓨터·모바일·브라우저에 공통 프로그래밍 인터페이스를 제공한다.
- 실제 macOS 기기 4가지 작업에서 Qwen3.8-Max는 GPT-4o Astra 대비 추론 토큰 사용량이 19.4배 많아, 실제 기기 실행 효율에서 모델 간 큰 차이가 있음을 보여준다.