AI 과학자를 평가하는 벤치마크, 자동으로 만든다

핵심 요약

• 기존 과학 분야 벤치마크는 에이전트 성능이 향상되면서 포화되어 역량 차이를 구별하기 어려워지고, 새로운 벤치마크 구축에 시간과 전문성이 필요한 문제가 있다.
• AutoSciBench는 각 과제를 과학 도메인·데이터 형식·추론 방식을 지정하는 고수준 개념과 질문·환경·정답 구성 방법을 담은 저수준 레시피로 표현한다.
• 에이전트가 과제를 시도할 때 생성되는 풀이 궤적과 판단 피드백을 이용해 자동으로 레시피나 개념을 개선하고, 과제를 우회 풀이에서 원본 데이터 재검토·중간 결과 해석·증거 통합으로 진화시킨다.
• 이전 개선 과정에서 얻은 통찰을 새로운 벤치마크 생성에 활용해 지속적인 학습과 적응을 가능하게 한다.
• 계산 생물학·재료 과학·임상 영상의 세 도메인에서 평가한 결과, 자동 생성 벤치마크가 기존 인간 제작 벤치마크 대비 정확도를 22.4~25.5 포인트 낮춘다.
• 생성된 과제들은 세 도메인 모두에서 품질 평가에서 더 높은 점수를 받았으므로, 에이전트 성능 향상에 맞춰 평가 벤치마크를 지속적으로 적응시킬 수 있음을 보여준다.