AI 연구원들의 판단력 평가하는 벤치마크 등장

핵심 요약

• 대규모 언어모델(LLM) 에이전트는 인간 감독 없이 수개월간 과학 실험을 진행할 수 있지만, 신뢰할 수 있는 자율 연구를 위해서는 과학적 판단력이 필수다.
• 연구팀이 SciΠvot이라는 248개 사례 벤치마크를 개발했는데, 이는 6개월간 6개 학문 분야 26개 프로젝트에서 고급 연구자들이 LLM 에이전트를 운영하며 반복적으로 개입한 기록을 바탕으로 한다.
• 각 사례에서 에이전트는 프로젝트 초기 기록만을 맥락으로 하여 원래 LLM 계획과 인간이 수정한 대안 중 하나를 선택해야 한다.
• 중간 수준의 추론 노력으로 프로젝트 기록에 접근했을 때, 모든 모델은 체계적으로 인간의 수정안보다 원래 LLM 계획을 선호하는 경향을 보였다.
• 테스트한 최상급 모델 5개 중 4개가 선택된 사례에서 무작위 추측 이하의 성능을 달성했다.
• 프로젝트 조건에서 모든 테스트 모델과 추론 노력 설정을 고려할 때 최고 정확도는 63.5%로, 신입 연구자의 73.4%보다 낮다.
• 중간 노력 수준에서 모든 모델은 프로젝트 기록 없을 때보다 있을 때 정확도가 더 낮았으며, 재고려도 전체 정확도를 일관되게 향상시키지 못했다.
• 인간이 수정한 대안을 제시받아도 최첨단 모델들은 선택된 연구 결정에서 어려움을 겪고 있으며, SciΠvot은 LLM 에이전트의 과학적 판단력을 체계적으로 평가하는 것을 지원한다.