실제 생활 작업 평가하는 AI 연구 에이전트 벤치마크 공개
원제 LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity
추천 15댓글 1
Key Point
현실적인 생활·업무 작업에서 최고 수준의 AI 연구 에이전트도 63% 수준의 성능만 달성하고 있으며, 이는 인간 기준과도 높은 일치도를 보이는 벤치마크로 검증되었기 때문이다.
핵심 요약
- 학술 연구나 합성 문제 중심이었던 기존 벤치마크와 달리, 실제 사용자 질문으로부터 나온 203개 과제로 구성된 LifeSearch 벤치마크를 발표했다.
- 중국어와 영어 과제는 7개 생활·생산성 영역에서 수집되었으며, 4,500시간 이상의 인적 주석으로 4,000개 이상의 전문가 평가 기준을 구축했다.
- 평가 기준은 보도 내용의 포함도·정확성과 수치·단위·날짜·URL 같은 구체적 기준을 포함한다.
- GPT-5.6 Sol을 포함한 12개 고급 연구 에이전트를 통일된 평가 체계로 테스트했으며, 최고 성능 모델도 63.4% 점수에 그쳤다.
- LLM 판정자를 인간 평가 기준과 비교하여 등급 설정을 최적화했고, 인간 순위 연구에서 벤치마크 점수와 인간 판단의 높은 일치도(스피어만 ρ=0.89, 켄달 τ=0.81)를 확인했다.
- LifeSearch는 생활과 업무 관련 실제 정보 검색 작업에서 AI 에이전트의 능력을 엄밀하게 평가하고 개선하기 위한 토대를 제공한다.