검색 에이전트를 위한 빠르고 정확한 의사결정 모델 SearchJev
원제 SearchJev: A Fast and Calibrated System-1 Model for Search Agents
추천 20댓글 2
Key Point
검색 에이전트의 의사결정 병목을 작은 특화 모델로 해결하면서 속도는 5배 이상 높이고 정확도도 개선하는 구체적인 개선 사례를 보여준다.
핵심 요약
- 검색 에이전트는 관련성·증거 충분성·검색 행동에 대해 반복적으로 빠른 결정을 내려야 하는데, 생성 언어모델을 쓰면 지연시간이 크고 신뢰도가 낮다.
- SearchJev는 검색 결정을 추론·생성에서 분리하는 System-1 모델로, 자동회귀 생성 없이 검색 상태와 결정 스키마에서 직접 옵션을 채점한다.
- 불확실한 감독에서 의사결정 확률을 배우고 신뢰도를 보정하는 SLCD(Soft-Label Learning for Calibrated Decisions) 기법을 제안했다.
- 이원 시스템 에이전트에서 SearchJev가 짧은 결정을 담당하고 불확실한 판단은 System-2에 위임하며, System-2는 계획·쿼리 생성·답변 작성을 수행한다.
- 검색 결정 6가지 유형을 통합하는 SearchDecision-Bench 벤치마크를 구축했다.
- SearchDecision-Bench에서 SearchJev는 같은 크기의 Qwen3.5 자동회귀 모델보다 결정 품질이 우수하고, 의사결정 속도는 5.2~5.3배 빠르며, 평균 예상 보정 오차를 41~74% 감소시켰다.
- BrowseComp-Plus 평가에서 이원 시스템 에이전트는 능동적 검색 시간에서 3.7~4.7배 가속되면서 답변 정확도는 45%에서 최대 54%로 상향된다.