Hugging Face 논문AI · 머신러닝

AI 심사자, 논문 개선을 제대로 평가하지 못한다

원제 Can AI Reviewers See Your Efforts to Improve Your Paper? A Large-Scale Study of Paper Revision Trajectories

추천 13댓글 2Yaochen Wang, Chenguang Wang, Ming Li 외
Key Point

AI 심사 시스템이 논문의 실질적 개선을 반영하지 못한다는 결과는, 학술지 투고 과정에서 저자들의 노력이 제대로 평가받지 못할 수 있음을 시사한다.

핵심 요약

  • 논문 수정 궤적 데이터셋 6,959개를 분석한 연구에서 AI 심사자들이 저자의 실질적 개선을 일관되게 반영하지 못하는 것으로 나타났다.
  • 14개 차원에서 자동 주석된 주요 개선사항은 실증 증거와 표현(framing)을 강조하지만, 뒤의 수정은 점진적 개선에 그치는 패턴을 보였다.
  • 8명의 AI 심사자가 평가한 결과, 주요 개선사항이 있어도 대부분의 심사자가 점수를 그대로 유지했다.
  • 수정 차원과 점수 변화의 연관성이 약하며, 리뷰어마다 다르게 반응해 일관된 기준이 없었다.
  • 중립적 점수로는 상승한 수정이라도 심사자의 부정적 의견 한 줄이 그 이득을 상쇄하거나 역전시킬 수 있으며, 이는 심사자마다 크게 달랐다.
  • 연구진은 과학적 증거가 없을 때도 점수 변화가 일어나 실질적 개선과 심사 점수의 괴리가 심함을 지적했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗