Hacker NewsAI · 머신러닝

가짜 통계로 ChatGPT에 인용되는 법

원제 Publish fake stats, get cited in LLMs

103 포인트댓글 59
Key Point

LLM 기반 AI 검색이 Google을 대체하면서 가짜 정보가 인용과 재인용으로 신뢰성을 얻는 '정보 연쇄 반응'의 실증적 증거를 제시하며, 웹 콘텐츠 신뢰성과 LLM 학습 데이터 품질에 대한 근본적인 문제를 지적한다.

핵심 요약

  • 저자는 7개월 전 5만 개의 가짜 통계를 담은 웹사이트를 만들었고, Google은 해당 사이트를 인덱스에서 제거했지만 ChatGPT는 계속 참조하고 있다.
  • 사이트는 ChatGPT로부터 1만 개 이상의 세션을 받았고, Shopify, DHL, Bluehost를 포함한 330개 이상의 도메인에서 링크되었으며, 가짜 수치가 학술 논문과 은행의 투자 연구에 인용되었다.
  • 저자는 LLM 관련 연구 중 LLM들이 지식 격차를 채우기 위해 통계를 찾는 패턴을 발견했고, 이를 통해 GEO(생성형 검색 최적화) 실험을 설계했다.
  • 사이트는 GPT-4.1로 하루 만에 생성한 50개국 200개 국가의 SEO, 콘텐츠마케팅, 소셜미디어, 이커머스, 웹 기술 관련 통계를 담았으며, 추가로 1만 5천 개의 리스트를 더했다.
  • 초기에는 Google 검색에서 좋은 성과를 보였으나 두 번의 Google 업데이트 직후 시각성이 급격히 떨어졌고, 지난 30일간 600만 개의 봇 요청 중 7만 2천 개가 ChatGPT-User에서 비롯되었다.
  • ChatGPT는 7개월 후에도 계속 해당 사이트를 인용하고 있으며, Google의 성능이 좋았다면 링크 수가 더 많았을 것으로 예상된다.
  • Google 검색 순위와 LLM의 정보 검색 가능성은 다른 문제이며, Google에서 낮은 순위여도 LLM에서는 높은 성능을 낼 수 있다는 것을 보여준다.
  • 가짜 데이터는 인용 과정을 거치며 신뢰성이 상승하는 '인용 세탁(citation laundering)' 현상을 유발할 수 있으며, 학술 논문과 금융 기관의 인용을 통해 원래는 근거 없는 숫자가 점차 권위 있게 보인다.
  • 저자는 Peec AI 입사 후 진짜 데이터로 같은 실험을 반복했고, AI 콘텐츠 생성 사이트들이 즉시 링크를 걸었으며, 통계 콘텐츠 발행이 실제로 효과적인 전술임을 입증했다.
  • LLM들은 콘텐츠 작성 시 구체적인 숫자를 찾으려 하고, 서브쿼리로 '통계', '데이터', '보고서' 같은 수정자를 추가하며, 모델들은 페이지 수준이 아닌 문단 수준에서 정보를 검색한다.
  • LLM 기반 답변은 지연 시간과 비용 제약이 있어 팩트 체크를 수행하지 않으며, 관련성을 평가하는 리랭커를 사용하지만 진실을 검증하지는 않는다.
  • 통계 페이지의 제목, 헤딩, URL에 연도가 포함되어 있으면 신선함의 신호로 작용하며, 제목당 한 가지 주장, 출처와 연도 표시, LLM의 서브쿼리 방식에 맞춘 헤딩, 실제 업데이트, 자바스크립트 없는 HTML 렌더링, 간단한 디자인이 중요하다.
  • 실험 결과를 토대로 저자는 정확한 정보를 제공하고 Google Search Console 대신 서버 로그의 AI 봇 활동, GA4의 AI 레퍼럴, Ahrefs/Semrush의 백링크, 인용 없는 언급 추적을 권장한다.
  • 저자는 가짜 콘텐츠를 절대 발행하지 말 것을 강조하며, 이 전술이 장기적으로 계속 작동한다는 보장이 없고, GEO 전략의 전부가 되어서는 안 되며, 신뢰받는 브랜드가 이 기법으로부터 가장 큰 이득을 볼 수 있음을 언급한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗