AI 심사자, 논문 개선을 제대로 평가하지 못한다
원제 Can AI Reviewers See Your Efforts to Improve Your Paper? A Large-Scale Study of Paper Revision Trajectories
추천 13댓글 2
Key Point
AI 심사 시스템이 논문의 실질적 개선을 반영하지 못한다는 결과는, 학술지 투고 과정에서 저자들의 노력이 제대로 평가받지 못할 수 있음을 시사한다.
핵심 요약
- 논문 수정 궤적 데이터셋 6,959개를 분석한 연구에서 AI 심사자들이 저자의 실질적 개선을 일관되게 반영하지 못하는 것으로 나타났다.
- 14개 차원에서 자동 주석된 주요 개선사항은 실증 증거와 표현(framing)을 강조하지만, 뒤의 수정은 점진적 개선에 그치는 패턴을 보였다.
- 8명의 AI 심사자가 평가한 결과, 주요 개선사항이 있어도 대부분의 심사자가 점수를 그대로 유지했다.
- 수정 차원과 점수 변화의 연관성이 약하며, 리뷰어마다 다르게 반응해 일관된 기준이 없었다.
- 중립적 점수로는 상승한 수정이라도 심사자의 부정적 의견 한 줄이 그 이득을 상쇄하거나 역전시킬 수 있으며, 이는 심사자마다 크게 달랐다.
- 연구진은 과학적 증거가 없을 때도 점수 변화가 일어나 실질적 개선과 심사 점수의 괴리가 심함을 지적했다.