AI 피어 리뷰 검증 시스템 PremiseCheck 공개
Key Point
피어 리뷰는 논문 평가의 기초인데 AI가 생성한 댓글의 정확성을 효율적으로 검증할 방법이 없었던 상황을 두 단계 검증으로 해결했기 때문이다.
핵심 요약
- 논문 피어 리뷰 댓글에서 인간과 AI가 저지르는 사실 오류를 감지하기 위해 ReviewFact 벤치마크를 개발했다.
- NLP, 머신러닝, 자연과학 논문에서 검증된 이 벤치마크는 정확도뿐 아니라 비용과 응답 시간도 측정한다.
- GPT-5.5 같은 고성능 LLM은 검증 정확도가 높지만 매번 전체 논문을 읽어야 하므로 비용이 크다.