AI 에이전트의 실시간 웹 정보 검색 능력 측정
원제 Deep Search in Real-World Web Environments
추천 163댓글 2
Key Point
현재의 AI 에이전트가 실제 웹에서 다단계 검색을 얼마나 잘 하는지 처음으로 체계적으로 측정하는 기준을 제시하므로, 앞으로의 에이전트 개발 방향을 좌우할 벤치마크가 될 것이다.
핵심 요약
- 실제 웹 환경에서 AI 에이전트가 다단계 정보 검색을 수행할 수 있는지 평가하는 OpenDS 과제를 제안했다.
- 기존 연구와 달리 실제 웹은 다양한 출처와 형식의 정보, 복잡한 상호작용 메커니즘을 포함하고 있어 에이전트가 자율적으로 증거를 찾아 통합해야 한다.
- 200개의 까다로운 과제로 구성된 OpenDS-World 벤치마크를 만들었으며, 다양한 정보 양식, 이기종 파일 형식, 상호작용 접근 요구사항을 포함하고 인간 검증으로 답의 정확성을 보장했다.
- 12개의 최신 모델을 동일한 환경과 프로토콜로 평가한 결과 최고 성능 모델은 39.0% 정확도, 인간 평가는 21.1% 정확도를 기록했다.
- 도구 사용, 검색 비용, 종료 행동, 실패 복구 분석 결과 모델 간 검색 전략에 상당한 차이가 있으며 도구 조율과 장기 검색 관리에서 지속적인 과제가 있음을 발견했다.
- OpenDS-World는 실제 웹 환경에서 에이전트의 자율 정보 검색 능력을 체계적으로 평가하고 개선할 수 있는 통합 평가 플랫폼을 제공한다.