실제 웹사이트에서 비전 기반 AI가 마우스 클릭 실패하는 문제 해결

핵심 요약

• WebFovea는 WebRetriever Challenge 2026에서 2위(최종 점수 57.0/100)를 차지한 비전 기반 웹 에이전트다.
• 실제 웹사이트 인터페이스를 조작해 검증 가능한 답변을 반환하는 시스템으로, 멀티모달 LLM이 필요하지만 충분하지 않다는 점을 발견했다.
• 모델 결정은 브라우저 하네스(모델과 페이지 사이의 코드)를 거쳐 페이지에 전달되는데, 매 단계마다 네 가지가 맞아떨어져야 한다: 모델 응답을 의도한 액션으로 파싱, 액션의 페이지 반영, 결과의 정확한 보고, 필요한 정보의 모델 제공.
• 실제 웹사이트에서 관찰된 대부분의 실패는 모델의 추론이 아니라 이 네 단계 중 한 곳에서 발생했다.
• 구체적으로 좌표 공간 불일치로 모든 클릭이 의도한 위치의 3/4에 배치되고, 네이티브 드롭다운·iframe 내 액션·텍스트 박스 작업이 조용히 실패했으며, 자동 생성된 채팅 템플릿 토큰이 전체 작업의 4.9%를 오염시켰다.
• WebFovea는 각 단계를 견고하게 만들고 에이전트를 규칙과 예산 내에 유지하는 보호장치로 루프를 둘러싼다.
• 동일한 모델을 모든 제출에 사용했으나 공식 숨겨진 테스트 점수가 31.0에서 57.0으로 상승한 것은 하네스 변경과 실제 사이트의 실행 간 차이를 반영한다.
• 논문은 설계·각 구성 요소의 근거(부정적 결과 포함)·실패 분석·제약 사항·다양한 단계를 다른 모델로 라우팅하는 로드맵을 다룬다.