GUI 에이전트의 공격 탐지, 화면 아닌 '전환' 검증이 핵심

핵심 요약

• GUI 에이전트의 보안 위협은 화면 자체가 아닌 사용자 액션 이후의 상태 전환에 있다는 통찰을 제시했다. 예를 들어 Sign in 탭 후 로그인 화면은 정상이지만, View order 탭 후 같은 화면이 나타나면 공격이다.
• 기존 GUI 월드 모델은 다음 상태를 텍스트·코드·이미지로 출력해 검증 시 별도 모델로 비교해야 하는데, 이는 비효율적이다.
• LGWM이라는 디코더 없는 액션 조건부 월드 모델을 제안했으며, 185만 개 실제 GUI 전환 데이터로 의미론적 주석 없이 학습했다.
• LGWM은 다음 화면의 표현을 직접 예측하므로 검증이 벡터 비교로 축소되고, 불일치가 해롭는지 여부도 같은 신호로 판단할 수 있다.
• RSWT-BENCH 진단 벤치마크에서 정상·공격당한 전환 둘 다에 나타나는 자격증 화면으로 검증했으며, 화면만 보는 탐지기는 확률 수준이다.
• LGWM은 0.987 AUC(의사결정당 17ms)를 달성했으며, 최강 폐쇄형 VLM 수준이면서 생성형 GUI 월드 모델보다 약 10 AUC 포인트 높고 지연시간은 1000배 이상 낮다.
• 잔여 방향(residual direction) 분석으로 해로운 위반과 양성 위반을 0.953 AUC로 분류했으며, 프롬프트 기반 VLM은 거의 우연 수준이었다.
• 예측 신호는 이상 점수가 아닌 실제 사용 가능한 미래 상태임을 보였으며, 월드 모델의 새로운 활용 방식인 검증 역할을 제시했다.