Hugging Face 논문AI · 머신러닝

AI 논문 심사, 본문 무시하고 부록만 집중한다

원제 AI Reviews Are Biased Towards the Appendix

추천 10댓글 4Saptarshi Ghosh, Mohammad Saim, Tianyu Jiang
Key Point

LLM 기반 논문 심사가 확산되면서 모델의 편향이 실제 심사 과정에 미치는 영향을 보여주는 사례로, 향후 AI 도구 사용 가이드라인 수립에 직접 연결된다.

핵심 요약

  • LLM을 활용해 학술지 논문을 심사할 때 모델들이 약점을 어디에서 찾는지 조사하는 연구이다.
  • ACL, EMNLP, COLM, ICLR 등 주요 학회 2000편의 논문을 분석한 결과, GPT와 Claude는 지적한 약점의 50% 이상을 부록에서 추출했다.
  • 이러한 경향은 API, 코딩 에이전트, 웹 접근 방식 등 LLM을 사용하는 모든 방법에서 일관되게 나타났다.
  • 반면 인간 심사자는 약점의 8.4%만 부록에서 찾았으며, 이는 주로 논문의 표현과 핵심 아이디어 관련 내용이다.
  • LLM은 논문의 중심 기여도와 무관한 세부 기술 사항을 부록 깊숙이에서 발굴해 지적하는 경향을 보인다.
  • 연구팀은 코드를 GitHub에 공개했으며, 이 분석이 AI 심사에 대한 학술적 논의에 기여할 것으로 기대한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗