GUI 에이전트가 스스로 개선되는 프레임워크 등장
원제 GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution
추천 11댓글 2
Key Point
GUI 기반 에이전트의 성능을 모델 재학습 없이 실행 환경 최적화만으로 끌어올리는 방법이 등장했으며, 폐쇄형 모델도 개선 가능해진다.
핵심 요약
- GUI 모델을 감싸는 실행 환경(harness)을 자동으로 최적화하는 GUI-HARVEST를 제안한다.
- 모델의 의도를 시각적 결과와 정렬하고, 스크린샷 변화로 동작 효과를 진단하며, 실행 변동성을 고려한 반복 실행 비교를 통해 신뢰성을 높인다.
- 여러 작업에서 확인된 반복 실패 패턴을 식별하고, 이를 소스코드 수정으로 변환한 뒤 반복 실행으로 검증한다.
- OSWorld-Verified에서 6개 모델에 걸쳐 일관된 성능 향상을 보였으며, Qwen3-VL-32B-Instruct는 12.33점, GPT-4o는 13.87점 향상되었다.
- 동일한 모델과 초기 harness를 사용할 때 Self-Harness와 Meta-Harness를 능가하며, GUI 특화 진단과 검증이 미지의 작업으로의 일반화를 돕는다는 점을 보여준다.
- 모델 가중치를 고정한 상태에서 실행 환경만 개선되므로, 기존 폐쇄형 모델도 성능을 높일 수 있다.