LLM의 연구 아이디어 탐색 과정을 측정하는 'Re-Search' 벤치마크 공개
원제 Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game
추천 10댓글 3
Key Point
LLM이 연구 아이디어를 어떻게 탐색하고 무엇에서 막히는지 구체적으로 측정할 수 있게 되면서, 자동화된 연구 시스템 개발의 현실적인 방향을 제시한다.
핵심 요약
- 연구자들이 피드백을 받으며 아이디어를 반복 개선하는 과정을 반영하기 위해, 논문의 핵심 아이디어를 예/아니오 질문으로 재발견하는 Re-Search 벤치마크를 제안했다.
- ICML 2026 출재 논문 200개로 구성되어 있으며, 모델이 질문을 던지고 이진 피드백을 받으면서 아이디어가 어떻게 진화하는지 추적한다.
- 6개의 최신 LLM을 테스트한 결과, 거의 모든 진전이 100개 질문 중 처음 30개 내에서 일어났으며, 이후로는 대부분 정체된다.
- 핵심 병목은 판단력이 아니라 생성 능력이다: 모델은 좋은 아이디어나 질문이 제시되면 인식하지만, 스스로 만들어내지 못한다.
- 모델들은 한 방향으로 과도하게 착취하거나 너무 많은 방향을 과도하게 탐색하면서 실패하는 경향을 보였다.
- 자기주도 연구 시스템의 설계 원칙으로, 모델 자체의 생성 능력 개선보다 외부 출처의 아이디어와 질문으로 탐색 공간을 풍부하게 하는 것이 더 효과적일 수 있다는 점을 제시했다.