인간의 GUI 경험에서 재사용 가능한 에이전트 스킬을 자동 추출
원제 Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
추천 44댓글 2
Key Point
복잡한 GUI 작업을 수행하는 AI 에이전트가 인간의 실제 워크플로우 지식을 자동으로 학습하고 재사용할 수 있는 새로운 방법론이며, 멀티모달 데이터셋도 함께 공개돼 향후 에이전트 연구의 기반을 제공한다.
핵심 요약
- 컴퓨터 사용 에이전트는 복잡한 GUI 작업을 수행할 수 있지만 인간의 도메인 지식이 필요한 낯선 소프트웨어와 워크플로우는 여전히 어려운 과제다.
- Work2Skill은 인간의 GUI 경험을 캡처하여 재사용 가능한 에이전트 스킬을 자동으로 유도하는 프레임워크를 제시한다.
- WorkRecorder는 화면 녹화, 마우스·키보드 이벤트, 접근성 트리 정보를 정렬하여 인간의 경험을 수집하는 인프라를 제공한다.
- WorkDemo-350은 재사용 가능한 에이전트 스킬 유도를 위해 구성된 350개의 동기화된 멀티모달 데스크톱 GUI 시연 데이터셋으로, 완성도와 성공 여부를 검증한다.
- 제안된 스킬 유도 방법은 워크플로우 규칙, 단계 간 종속성, 완료 확인을 포함하는 재사용 가능한 스킬을 생성한다.
- 같은 네 개의 실행 모델에 각 방법으로 유도한 스킬을 적용했을 때 Work2Skill은 가장 높은 점수와 성공률을 달성했다.
- MyPCBench Bounded Action에서는 스킬 없는 기준선 대비 평균 4.67~10.54점 향상, OSWorld-Verified 286개 작업 부분집합에서는 3.11~7.50점 향상을 보였다.