AI 논문 심사, 본문 무시하고 부록만 집중한다
원제 AI Reviews Are Biased Towards the Appendix
추천 10댓글 4
Key Point
LLM 기반 논문 심사가 확산되면서 모델의 편향이 실제 심사 과정에 미치는 영향을 보여주는 사례로, 향후 AI 도구 사용 가이드라인 수립에 직접 연결된다.
핵심 요약
- LLM을 활용해 학술지 논문을 심사할 때 모델들이 약점을 어디에서 찾는지 조사하는 연구이다.
- ACL, EMNLP, COLM, ICLR 등 주요 학회 2000편의 논문을 분석한 결과, GPT와 Claude는 지적한 약점의 50% 이상을 부록에서 추출했다.
- 이러한 경향은 API, 코딩 에이전트, 웹 접근 방식 등 LLM을 사용하는 모든 방법에서 일관되게 나타났다.
- 반면 인간 심사자는 약점의 8.4%만 부록에서 찾았으며, 이는 주로 논문의 표현과 핵심 아이디어 관련 내용이다.
- LLM은 논문의 중심 기여도와 무관한 세부 기술 사항을 부록 깊숙이에서 발굴해 지적하는 경향을 보인다.
- 연구팀은 코드를 GitHub에 공개했으며, 이 분석이 AI 심사에 대한 학술적 논의에 기여할 것으로 기대한다.