GUI 에이전트의 경험 활용, '적절성'이 핵심

핵심 요약

• 개인 GUI 에이전트는 사용자 지시를 이해하고 반복 작업을 예측하기 위해 과거 상호작용 기록을 활용합니다.
• 기존 방식은 작업 관련 기록을 모두 검색해 정책 컨텍스트에 추가하지만, 이 기록은 에피소드 첫 단계에서만 큰 도움이 되고 나머지 90% 단계에서는 거의 효과가 없다는 문제가 있습니다.
• 문제의 근본 원인은 '적절성이 결정되지 않은 채 관련성만 판단'되기 때문입니다: 관련성은 작업 수준에서 판단되지만, 적절성은 실제 상황과 의사결정 시점에 따라 결정됩니다.
• 연구팀은 ExpActivator라는 학습 불필요 프레임워크를 제안하며, 현재 상황에만 적용 가능한 경험을 활성화합니다.
• 실행 중에 ExpActivator는 각 새로운 화면을 GUI 백본의 잠재 공간에서 과거 상태와 비교해 해당 동작을 참고로 제공합니다.
• 실행 전에는 현재 시간과 상황이 충분한 근거를 제공할 때만 반복 의도를 활성화하고, 그렇지 않으면 제안을 자제합니다.
• 4가지 GUI 백본에서 ExpActivator는 궤적 내 단계 성공률을 평균 28% 향상시키고, 약 5분의 1 수준의 기록 토큰만 사용하면서 모든 백본에서 최고의 개인화 성능을 달성합니다.
• 프로액티브 제안에서는 가장 강력한 기존 방식 대비 약 2.3배의 Matthews 상관계수를 도달했습니다.