AI 에이전트의 과학적 추론 능력 평가, 논문으로 검증
원제 From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
추천 38댓글 3
Key Point
현재 최강 LLM들도 과학 논문 같은 구조화된 조사 완수에 약한 부분을 정량적으로 입증함으로써, AI의 과학 응용 가능성의 현주소를 보여준다.
핵심 요약
- AI 에이전트가 과학적 조사를 체계적으로 진행하여 증거 기반의 결론에 도달할 수 있는지 평가하기 위해 PhysClosureBench 벤치마크를 개발했다.
- 벤치마크는 강장 물리, 아토초 물리 등 50개 물리학 연구 과제로 구성되며, 각 과제는 목표와 과학적 제약조건을 명시하고 에이전트가 증거 생성과 검증 방법을 결정하도록 한다.
- 평가 지표는 지역적 과학적 성과를 측정하는 20개 기준의 Atomic Score와 필수 증거 요구사항 충족 여부로 연구 폐결(RC0~RC4)을 5단계로 평가한다.
- Claude-Opus-5를 포함한 7개 최신 LLM을 평가한 결과, Claude-Opus-5가 최고 평균 Atomic Score 6.29/10을 기록했으나 RC4에 도달한 경우는 32.7%에 불과했다.
- 점수 8/10 이상을 받은 시도의 36.2%가 여전히 RC4 미달 상태였으며, 모든 모델이 세 번 실행 중 충분한 작업에서 RC4를 달성하지 못했다.
- 개별 사례 분석 결과 생성된 결과의 오해석과 물리적 적용 범위 한계 미해결이 연구의 불완전한 폐결을 야기하는 것으로 나타났다.
- AI 에이전트들은 국소적 과학적 성과는 기록하지만 완전한 연구 폐결 달성 능력에는 지속적인 격차가 존재한다.