LLM의 연구 안목, 인간 과학자보다 훨씬 떨어진다
Key Point
LLM이 인간 연구자처럼 '어떤 연구가 가치 있는가'를 판단하는 능력은 매우 부족하며, 방향 설정이 아닌 구체적 접근법 수립이 핵심 과제임을 보여주는 첫 대규모 실증이다.
핵심 요약
- 연구 안목(어떤 논문을 읽고 어떤 문제를 추구할지 판단하는 능력)은 AI 과학자의 업무에 점점 중요해지지만 실행 능력보다 덜 이해되고 있다.
- IdeaTaste는 2025년 논문 데이터로부터 LLM이 생성한 연구 제안이 2026년 실제 발표된 논문과 얼마나 일치하는지 평가하는 벤치마크다.
- 6개 언어모델과 4개 연구 분야에서 90,000개 이상 제안을 평가한 결과, LLM은 인간 수준의 26%만 인용 일치도를, 18%만 아이디어 일치도를 달성했다.