과학적 설명이 실험 예측을 얼마나 개선하는지 측정하다

핵심 요약

• 연구 에이전트가 계획한 실험을 설명할 때, 그 설명이 예측 정확도를 실제로 높이는지 측정하는 방법을 제시했다.
• 같은 중재·예측자·결과를 가진 쌍 예측을 비교하되 설명과 맥락을 달리하여, 약속 이행·예측 이득·신호 습득을 추적하는 5가지 검증을 수행했다.
• 통제된 학습 환경의 336개 전망 상태, 독성 테스트 12개 지표, OpenML 24개 작업을 대상으로 평가했으나 신용도 점수 결정이 결론적이지 않았다.
• Tox21 사전등록 ROC AUC 구간점수 해 테스트는 D-M=-.0026, 95% 신뢰구간 [-.0174, .0104]로 기준을 충족하지 못했고, OpenML의 결합·점 동등성·재현성 규칙도 미충족했다.
• DeepSeek V4 Pro에서 맞춘 카드와 기여자 카드는 Tox21 2차 편차를 각각 64.5%, 59.1% 줄였으나, V4 Flash 재시연은 맞춘 점 평균절대오차를 .01823에서 .02020으로 악화시켰다.
• OpenML 전체 카드 배정은 80% 신뢰구간을 21% 확대했고 49.3% 커버리지를 달성했으나 설명·내용 방식의 51.4% 미만이었으며, Flash 직접 텍스트는 144개 항목을 모두 제공했지만 맞춤 점 정확도 이득이 없었다.
• 연구자 저술 메커니즘 양성 대조는 설명 대비 점 평균절대오차를 2.60%포인트 낮췄다.
• 이 프로토콜은 연구 에이전트 벤치마크와 과학적 예측에서 예측 신용도를 측정하지만, 자연 설명의 신용도는 테스트된 기여자 해상도에서 확인되지 않았다.