웹 검색 AI의 진짜 실력을 재다: 다언어·다중매체 벤치마크 공개
원제 HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
추천 53댓글 2
Key Point
현재 출시된 웹 검색 AI들의 실제 정보 탐색 능력이 얼마나 되는지 정량적으로 검증할 수 있는 기준이 생김에 따라, AI 에이전트 성능 평가의 표준이 될 가능성이 있다.
핵심 요약
- 13개 언어로 된 423개 질문으로 구성된 HyperBrowseComp 벤치마크를 공개했다.
- 각 질문은 원어민 또는 고급 화자가 작성·검증했으며, 정답은 공개 자료에서 확인 가능하다.
- 모호한 증거를 찾거나 여러 단계의 단서를 따라가거나 동영상·스캔 문서·지도 등 다양한 출처를 검토해야 하는 과제들이다.
- 인터넷 접근 없이 답할 수 있는 '너무 쉬운' 질문은 모델 평가를 통해 미리 걸러냈다.
- 여러 모델을 각 제공사의 검색 기능과 공통 검색 도구로 평가했으며, 일부 질문에 대해 사람이 직접 평가도 수행했다.
- 웹에서 증거를 발견하고 연결하는 과정에서 언어와 매체 간 장벽을 넘는 지속적 정보 탐색 능력을 종합적으로 테스트한다.