촘스키 vs 확률 모델, 언어학의 두 문화
Key Point
통계 기반 언어 모델의 지배적 성공이 정당한지, 아니면 촘스키 식 형식 이론이 올바른 길인지를 놓고 벌어진 언어학의 근본적 논쟁을 명확히 이해할 수 있다.
핵심 요약
- 촘스키의 확률 모델 비판에 대해 핑커의 질문으로부터 출발한 에세이로, 통계 모델의 성공 이유를 다룬다.
- 2차 마르코프 모델로 10만 개 어휘를 표현하려면 1경(10¹⁵) 개의 확률값이 필요하며, 이는 데이터 통계 학습과 평활화 기법 없이는 불가능하다.
- 이상 기체 법칙처럼 확률·통계 모델이 현실을 완벽히 설명하지 못해도 정확한 예측과 통찰력을 제공할 수 있음을 보인다.