AI 인용 통계 40%는 출처가 없다

핵심 요약

• ChatGPT, Perplexity, Gemini, Claude, Google AI Overviews에 수치 관련 질문 200개를 던지고, 인용한 1,285개 통계의 출처를 따라가며 추적했다.
• 각 통계마다 인용된 페이지부터 시작해 원본 연구까지 최대 5단계를 거슬러 올라갔으며, 300개 통계는 인간이 직접 재검증했다.
• 결과: 40%만 원본 연구를 정확히 찾았고, 8%는 연구는 찾았지만 수치나 맥락이 변했으며, 40%는 확인 불가능하고 11%는 아무 연구도 없었다.
• AI가 인용한 첫 번째 페이지의 유형에 따라 결과가 크게 달랐다: 연구기관 62% vs 회사 블로그 37% vs 통계 모음 35%가 원본에 도달했다.
• 변경된 통계 중 17%는 숫자 자체가 바뀌었지만, 대부분은 측정 대상·연도·출처·대상자 등 맥락이 달라졌다: 2004년 15명의 여성이 건강 웹사이트를 평가한 연구가 '모든 웹사이트의 첫인상 중 94%가 디자인 관련'이라는 주장으로 변질된 예.
• ChatGPT가 답변당 1.3개 통계만 인용하며 가장 적게 언급했고, 그 중 57%가 출처가 있었다. Claude는 답변당 6.8개를 인용했으며 38%만 출처가 있었다.
• 같은 질문에 다섯 AI가 준 답이 종종 달랐다: '마케팅 자동화 도구 사용률'에 대해 49%부터 96%까지 나왔으며, 71개 백분율 질문 중 28개에서 네 개 이상의 다른 수치를 제시했다.
• 다섯 AI가 모두 인용한 통계 4개는 연구 뒷받침이 전혀 없었다: 첫 팔로우업 후 포기하는 영업사원 44%, 최소 하나의 브랜드를 팔로우하는 소셜미디어 사용자 90%, 첫 페이지를 넘어가지 않는 검색자 75%, 고객 유지가 신규 확보보다 5~25배 저렴하다는 주장.
• 가장 자주 인용된 통계 29개 중 11개만 출처가 있었고, 6개는 맥락이 변했으며, 8개는 확인 불가능했고, 4개는 연구 자체가 없었다.
• 고려할 점: AI 인용 페이지의 82%는 인용된 수치를 포함했지만, 그 페이지의 21%만이 원본 연구였고, 54%는 회사 블로그였다.
• 다섯 AI가 같은 답을 줬어도 그것이 정확하다는 뜻이 아니다: 모두 같은 수치를 제시한 10개 질문 중 추적한 5개만 검증했을 때, 2개만 출처가 있었다.
• 보고 통계를 인용할 때는 샘플 크기, 조사 시점, 원본 링크를 함께 명시하고, 연구 보고서를 공개적으로 제공해야 한다: 설문 양식 뒤에 숨긴 데이터는 추적 불가능해진다.