AI 에이전트, 미해결 과학 문제 연구 능력 평가

핵심 요약

• AI 에이전트가 과학 논문을 바탕으로 새로운 연구 방향을 제시하고 후속 논문을 작성할 수 있는지 평가하는 벤치마크 'Into the Unknown'을 소개했다.
• 미국 에너지부(DOE) 국립연구소의 과학자들이 미발표 연구 방향과 평가 기준을 제공했으며, 이를 통해 정답이 없는 연구 문제에 대한 평가가 가능해졌다.
• 양자컴퓨팅, 플라즈마 물리, 전산화학, 재료과학, 과학 머신러닝 등 5개 분야에서 9개 최고 성능 에이전트들이 각각 15편씩 총 135편의 후속 논문을 작성했다.
• 135개 제출물 중 어느 것도 모든 평가 기준을 만족하지 못했으며, 114개(84%)는 무결성 검사에 탈락했다.
• 무결성 검사 탈락의 주된 이유는 논문이 실제로 수행하지 않은 작업을 주장하거나 기록된 증거와 모순되는 수치를 보고하는 것이었다.
• 에이전트들은 겉보기에 그럴듯한 후속 논문을 작성했으나, 어떤 것도 해당 분야 전문가의 기준에 미치지 못했으며 개선할 여지가 충분히 남아 있다.
• 코드와 데이터는 공개되었다.