LLM의 연구 안목, 인간 과학자보다 훨씬 떨어진다

핵심 요약

• 연구 안목(어떤 논문을 읽고 어떤 문제를 추구할지 판단하는 능력)은 AI 과학자의 업무에 점점 중요해지지만 실행 능력보다 덜 이해되고 있다.
• IdeaTaste는 2025년 논문 데이터로부터 LLM이 생성한 연구 제안이 2026년 실제 발표된 논문과 얼마나 일치하는지 평가하는 벤치마크다.
• 6개 언어모델과 4개 연구 분야에서 90,000개 이상 제안을 평가한 결과, LLM은 인간 수준의 26%만 인용 일치도를, 18%만 아이디어 일치도를 달성했다.
• LLM 집단은 인용 다양성과 분야의 작업·방법론을 공동체 수준으로 반영할 수 있지만, 실제로 진행되는 구체적 접근과 연구 계획에는 도달하지 못한다.
• 더 풍부한 분야 맥락이나 더 큰 모델 규모도 이 격차를 크게 좁히지 못했다.
• 맹검 전문가 검토에서 AI 제안은 표현력은 2026년 논문과 비슷하지만 실현 가능성에서 가장 큰 차이를 보였다.
• 인간 논문과 공유하지 않은 아이디어는 더 나쁜 평가를 받아, 방향성 자체의 문제를 시사한다.
• 분석 결과 LLM의 연구 안목 병목은 커뮤니티가 다루는 방향을 찾는 데 있기보다 그것을 구체적 접근으로 발전시키는 데 있다.
• IdeaTaste는 향후 발표 주기와 비교해 AI 제안을 평가하는 공개 리더보드로 지속 업데이트된다.