웹 에이전트의 현실성 높인 평가 기준 등장
원제 WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
추천 11댓글 3
Key Point
웹 에이전트의 실제 적용 가능성을 판단할 기준이 부족했는데, 멀티모달 콘텐츠와 다양한 웹 애플리케이션을 아우르는 재현 가능한 벤치마크 등장으로 개발자가 모델 선택과 개선 방향을 더 정확히 판단할 수 있게 되었다.
핵심 요약
- LLM과 비전-언어 모델 기반 웹 에이전트의 성능을 평가하는 새로운 벤치마크인 WebArena-Pro가 공개되었다.
- 6개 도메인 20개 자체 호스팅 웹 애플리케이션 300개 과제로 구성되며, 텍스트·이미지뿐 아니라 오디오·비디오도 포함한 멀티모달 콘텐츠를 평가한다.
- 기존 재현 가능한 벤치마크는 적은 수의 웹 애플리케이션만 다루거나 모달리티를 제한했으나, WebArena-Pro는 이 두 한계를 동시에 해결했다.
- 라이브 벤치마크는 사이트 커버리지가 넓지만 페이지와 데이터가 변해 재현성을 잃는데, WebArena-Pro는 각 과제를 격리 실행해 재현성을 유지하며 병렬 평가도 지원한다.
- Claude Opus와 Codex with GPT 6.1 Sol이 62.3%로 최고 성능을 기록했으며, OpenCode with Kimi 3.1 Pro는 60.7%, 범용 에이전트 중 Gemini 3.1 Pro Omni와 Gemma4 31B는 30.3%를 달성했다.
- 과제는 전담 주석 인터페이스로 작성되고 LLM 보조 선별 및 인간 검증을 거친 후 공개되어 품질을 보장한다.