LLM의 연구 아이디어 탐색 과정을 측정하는 'Re-Search' 벤치마크 공개
Key Point
LLM이 연구 아이디어를 어떻게 탐색하고 무엇에서 막히는지 구체적으로 측정할 수 있게 되면서, 자동화된 연구 시스템 개발의 현실적인 방향을 제시한다.
핵심 요약
- 연구자들이 피드백을 받으며 아이디어를 반복 개선하는 과정을 반영하기 위해, 논문의 핵심 아이디어를 예/아니오 질문으로 재발견하는 Re-Search 벤치마크를 제안했다.
- ICML 2026 출재 논문 200개로 구성되어 있으며, 모델이 질문을 던지고 이진 피드백을 받으면서 아이디어가 어떻게 진화하는지 추적한다.
- 6개의 최신 LLM을 테스트한 결과, 거의 모든 진전이 100개 질문 중 처음 30개 내에서 일어났으며, 이후로는 대부분 정체된다.