AI 에이전트가 검색할 가치를 판단하는 법

핵심 요약

• AI 에이전트가 추가 검색을 수행할 만한 가치가 있는지 판단하는 문제를 다룬다.
• 기존 답변 성공률은 질문의 난이도는 파악하지만, 검색의 추가 이득을 예측하지 못한다.
• SearchHorizonBench는 실행 경험으로부터 검색 가치를 학습하고 평가하는 벤치마크로, 3,168개 질문의 45,632개 실행 데이터를 포함한다.
• 쌍을 이룬 연속 생성과 반복 실행으로 검색 이득을 생성 잡음과 분리하고, 예측 품질을 의사결정 효용과 연결한다.
• 보유된 1,632개 질문에서 역사 기반 보정은 Brier 오차를 16.2% 감소시키며, 개선이 성공 수준 정보에 집중된다.
• 검색 이득의 표준편차는 21.4 백분점이고, 기존 추정 방식은 포인트 예측의 2% 미만만 설명한다.
• 동일 구성 학습 곡선으로 다양한 규모에서 이러한 차이를 분석한다.
• 참조 토큰 가격 기준으로, 자유로운 선택 관찰은 최고 상수 동작 대비 2.49포인트의 효용 기회를 제공하며, 이는 주로 이득 정보로 인한 것이다.
• 재사용 가능한 이력, 고정 분할, 강한 기저선과 채점 도구로 가치 인식 검색 에이전트 개발·평가를 위한 공통 기반을 제공한다.