AI 논문 심사자의 약점: 표현 방식에 흔들리는 판정
Key Point
AI가 학술 논문을 심사하게 되는 시대에, 논문의 내용보다 표현 방식에 영향받는 평가의 위험성을 구체적으로 분석하고 개선안을 제시하는 중요한 연구다.
핵심 요약
- AI 심사자가 동일한 과학적 내용을 다르게 표현한 원고에 서로 다른 평가를 내리는 현상을 분석하는 논문이다.
- 논문의 핵심은 '수사적 견고성(Rhetorical Robustness)' 개념으로, 표현 변화에는 안정적이면서도 논문 간 차이는 구별해야 한다는 요구사항을 제시한다.
- 1,260개의 원고 버전으로 구성한 RobustReview 벤치마크를 만들어 30가지 심사자 구성을 평가했다.