AI 심사위원이 늘수록 학술지 리뷰 획일화
원제 Twice-Told Critiques: Claim-Level Homogenization of Peer Review in the LLM Era
추천 10댓글 2
Key Point
학술 커뮤니티의 핵심 기능인 동료 검토 과정이 LLM 활용으로 인해 본래의 역할(다양한 관점의 지적)을 잃어가고 있다는 실증적 증거가 나왔기 때문입니다.
핵심 요약
- 학술 논문 심사에서 여러 심사자가 지적하는 문제의 중복도를 분석한 연구다.
- ICLR 학회에서 같은 단계 리뷰의 중복도가 2026년 12.0%에서 2027년 21.3%로 증가했으며, NeurIPS, ICML 및 F1000, PLOS 저널들도 연년 상승 추세를 보였다.
- 2027년 ICLR에서 세 번째 리뷰가 처음 두 리뷰에 비해 평균 5.46개의 새로운 지적을 추가했는데, 2026년에는 6.12개였다.
- 논문의 LLM 생성 텍스트 감지 모델(MELD)로 모든 리뷰를 검사했다.
- 같은 논문의 LLM 생성으로 판정된 리뷰들이 LLM으로 판정되지 않은 리뷰보다 더 많이 중복됐다: 2024~2025년 ICLR에서 3.0포인트, 2026~2027년에 4.5포인트, 5개 저널 전반에 5.4포인트 차이다.
- 결과는 LLM 생성 리뷰들이 같은 논문 내에서 서로 덜 차별화되며, 단일 논문에 대한 비판의 다양성이 감소하고 있음을 시사한다.