데스크톱 환경 기반 대규모 AI 에이전트 학습 데이터셋 DeskForge 공개
원제 DeskForge: Dense Supervision from Desktop Environments for Computer-Use Agents
추천 11댓글 2
Key Point
컴퓨터 화면에서 정확히 동작하는 AI 에이전트를 만들려는 개발자들이 활용할 수 있는 대규모 고품질 학습 데이터셋이 공개되었으며, 기존 모델들의 성능을 10%대 향상시키는 데 직접 기여하고 있다.
핵심 요약
- 컴퓨터 제어 AI 에이전트가 복잡한 데스크톱 화면에서 정확히 액션 타겟을 찾도록 학습하는 것이 주 과제인데, 기존 학습 데이터는 밀집된 주석이나 다양한 시나리오가 부족하다.
- DeskForge는 실제 애플리케이션들을 조합·제어하면서 자동으로 대규모 감독 신호를 생성하는 데스크톱 환경이며, 앱 상태·콘텐츠·창 배치·외관·해상도를 변화시키고 스크린샷과 접근성 트리·창 기하 정보를 융합해 밀집 요소 주석을 만든다.
- 이를 통해 DeskForge-1M이라는 1.2M 주석 데스크톱 관찰과 159.7M 요소 인스턴스로 이루어진 데이터셋을 구축했다.
- 연구진은 이 중 20만 개의 접지 예제로 4개의 비전-언어 모델을 미세 조정했고, 모두 미공개 데스크톱 조건과 5개의 외부 GUI 접지 벤치마크에서 성능이 올랐다.
- Qwen3.5-4B는 ScreenSpot-Pro에서 11.51%포인트, OSWorld-G에서 10.11%포인트 정확도 향상을 보였다.
- 장시간 작업 완료로도 성과가 이어져, 고정 플래너 하에서 Qwen3.5-4B는 WebArena-Infinity에서 31→50/119 작업, OpenApps에서 3→15/100 작업을 해결했다.
- 프레임워크 코드, 데이터셋, 미세 조정 모델이 프로젝트 페이지에서 공개된다.