AI 에이전트의 물리 연구 역량 평가하는 벤치마크 등장
원제 FrontierPhysics: Evaluating Agents for End-to-End Physics Research
추천 27댓글 0
Key Point
AI 에이전트가 실제 과학 연구 수준으로 평가받는 첫 사례로, 단순 문제 풀이를 넘어 연구 품질까지 판단하는 기준이 제시되었기 때문이다.
핵심 요약
- 물리학자 42명이 자신의 연구를 바탕으로 만든 56개 과제로 구성된 'FrontierPhysics' 벤치마크가 공개되었다.
- 이론물리, 계산물리, 실험물리 등 9개 분야를 다루며, 에이전트가 문헌 검토부터 연구 계획 수립, 실험 수행, 논문 작성까지 전 과정을 수행하도록 평가한다.
- 결정론적 검증과 전문가 작성 평가 기준을 결합하여 AI 에이전트의 연구가 정확성과 게재 가능성(출판 품질)을 모두 갖춘지 평가한다.
- 22개 모델 26가지 설정 중 어떤 것도 168개 롤아웃 중 46개를 넘게 통과하지 못했다.
- 에이전트 궤적을 수동 검토한 결과, 주요 약점은 물리 지식 부족이나 실행 오류가 아니라 논리적 엄밀성 부족과 전문가 직관의 한계로 드러났다.