LLM의 지능은 착각, 심령술사 사기수법과 같다

Key Point
LLM을 신뢰하고 기반한 비즈니스와 서비스가 늘어나는 시점에, 그 기술이 실제로는 어떤 메커니즘으로 작동하는지, 그리고 지능처럼 보이는 것이 과연 무엇인지 정확히 이해해야 하기 때문입니다.
핵심 요약
- LLM은 텍스트 토큰의 수학적 모델일 뿐 실제 지능이나 추론 능력이 없다.
- 사용자들이 LLM을 지능적이라고 느끼는 것은 착각이며, 심령술사의 '콜드 리딩' 사기수법과 같은 메커니즘에 기반한다.
- LLM은 Forer 효과를 이용한 검증 문장들로 구체적 답변처럼 보이게 하지만, 실제로는 통계적으로 일반적인 답변일 뿐이다.
- 심령술사의 사기는 대상자의 인구통계 정보를 바탕으로 모호하지만 구체적으로 들리는 질문을 던져 주관적 검증 루프를 만드는 방식이며, LLM도 동일한 과정을 자동화한다.
- LLM이 마치 당신의 일에 특별히 관여하는 지능처럼 보이지만, 그것은 통계적 속임수일 뿐이다.