AI 논문 심사, 본문 무시하고 부록만 집중한다
Key Point
LLM 기반 논문 심사가 확산되면서 모델의 편향이 실제 심사 과정에 미치는 영향을 보여주는 사례로, 향후 AI 도구 사용 가이드라인 수립에 직접 연결된다.
핵심 요약
- LLM을 활용해 학술지 논문을 심사할 때 모델들이 약점을 어디에서 찾는지 조사하는 연구이다.
- ACL, EMNLP, COLM, ICLR 등 주요 학회 2000편의 논문을 분석한 결과, GPT와 Claude는 지적한 약점의 50% 이상을 부록에서 추출했다.
- 이러한 경향은 API, 코딩 에이전트, 웹 접근 방식 등 LLM을 사용하는 모든 방법에서 일관되게 나타났다.