GUI 에이전트의 지연 세계 행동 모델

핵심 요약

• 기존 픽셀 기반 세계 모델은 GUI 에이전트에서 미래 화면을 생성한 뒤 재인식하는 두 단계 방식을 사용하지만, 화면 재구성의 높은 연산 비용과 행동 선택에 불필요한 세부 정보 재구성 문제가 있다.
• 현재 상태를 거의 그대로 보존하는 '항등성 단축' 문제가 발생해 행동으로 인한 변화를 제대로 포착하지 못한다.
• 본 논문은 GUI 세계 모델링을 전체 화면 재구성에서 행동 유도 미래 정보의 잠재 공간 예측으로 재정의했다.
• 대규모 멀티모달 모델을 잠재 세계 모델로 활용하며, 행동 선택 헤드와 예측 전이 모델링 헤드 두 개의 전용 헤드를 공유 표현으로부터 도출한다.
• 행동 헤드는 잠재 표현을 직접 행동 선택으로 변환하고, 전이 헤드는 행동 조건부 미래 정보를 포착한다.
• 항등성 단축을 완화하기 위해 전이 표현이 행동으로 인한 변화를 더 잘 구분하도록 유도하는 행동 인식 대조 목적 함수를 도입했다.
• 오프라인 및 온라인 GUI 환경에서 광범위하게 실험한 결과, 픽셀 기반 세계 모델 대비 성공률이 각각 31.9%, 40.6% 향상되었다.
• 추론 지연시간은 최대 98.9% 감소했으며, 코드는 GitHub에 공개되었다.