GUI 인식 성능 대폭 개선한 GroundGUI 공개
원제 GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
추천 12댓글 1
Key Point
자동화된 GUI 에이전트 개발의 핵심 과제인 화면 요소 인식 성능이 8B급 모델 범위에서 기존 오픈소스 접근법을 처음으로 능가했기 때문이다.
핵심 요약
- GUI 화면의 자연어 지시를 정확히 화면상 요소로 매핑하는 멀티모달 비전 접지(visual grounding) 기술의 발전을 위해 ScreenRef 데이터셋을 제시했다.
- ScreenRef는 데스크톱, 웹, 모바일을 아우르는 586K개 GUI 스크린샷과 633K개 이상의 자연어 표현 인스턴스로 구성되며, 텍스트 인식·시각적 매칭·공간 이해·거부 시나리오 등을 포함한다.
- 감독학습 파인튜닝의 제한된 일반화와 강화학습의 희소 보상 문제를 해결하기 위해 Distillation-to-Reinforcement Learning(D2RL) 방법을 개발했다.
- ScreenRef로 Qwen3-VL-8B-Instruct를 SFT와 D2RL 순차 학습으로 훈련하여 GroundGUI-8B 모델을 구축했다.
- GroundGUI-8B는 ScreenSpot-V2에서 95.2%, ScreenSpot-Pro에서 63.9%, OSWorld-G에서 65.4%, MMBench-GUI L2에서 86.8%, UI-Vision에서 38.3%의 성능을 달성했다.
- 8B급 모델 중 오픈소스 데이터로 학습한 모델보다 크게 우수하며, 폐쇄소스 데이터 기반 모델과 비교해도 동등하거나 더 우수한 성능을 보인다.
- 코드, 모델, 데이터셋이 GitHub에 공개되었다.