촘스키 vs 확률 모델, 언어학의 두 문화
원제 Chomsky and the two cultures of statistical learning (2011)
104 포인트댓글 88
Key Point
통계 기반 언어 모델의 지배적 성공이 정당한지, 아니면 촘스키 식 형식 이론이 올바른 길인지를 놓고 벌어진 언어학의 근본적 논쟁을 명확히 이해할 수 있다.
핵심 요약
- 촘스키의 확률 모델 비판에 대해 핑커의 질문으로부터 출발한 에세이로, 통계 모델의 성공 이유를 다룬다.
- 2차 마르코프 모델로 10만 개 어휘를 표현하려면 1경(10¹⁵) 개의 확률값이 필요하며, 이는 데이터 통계 학습과 평활화 기법 없이는 불가능하다.
- 이상 기체 법칙처럼 확률·통계 모델이 현실을 완벽히 설명하지 못해도 정확한 예측과 통찰력을 제공할 수 있음을 보인다.
- 촘스키의 언어 모델은 범주적·결정론적이지만, 실제 언어는 문법성 판단이 불확실한 문장들이 많아 확률 모델이 더 잘 설명한다.
- 촘스키의 주요 비판인 새로운 문장의 확률이 0이어야 한다는 주장은 평활화 기법으로 해결되고, 유한상태 모델 한계도 확률적 문맥자유 문법(PCFG)으로 극복된다.
- 10억 개 매개변수 학습 불가능이라는 비판도 매개변수들을 동시에 정규화하고 관측에 따라 점진적으로 업데이트하는 현대 학습 방식으로 응답된다.
- 확률 모델이 수행성(사람들이 실제로 하는 것)을 범주적 모델보다 더 잘 설명하며, 언어 변화도 확률적 틀에서 세기에 걸쳐 점진적으로 일어난다.
- 촘스키의 진정한 반발은 '정확한 설명' vs '심층적 통찰' 간의 긴장인데, 브라이만의 2001년 논문은 '데이터 모델링 문화'(단순한 기저 모델 추정)와 '알고리즘 모델링 문화'(해석 불가능하지만 정확한 예측 함수)로 구분한다.
- 촘스키는 알고리즘 모델링을 거부하고 현실의 어떤 데이터도 맞지 않을 수 있는 단순한 수학 모델을 선호하며, 실제 언어 사용을 '수행'으로 제외하고 추상적 '능력'만 연구 대상으로 삼는다.
- 언어는 진화와 문화 변화에 따르는 복잡한 생물학적 과정이므로 확률 모델로만 분석 가능하고, 사람들은 불확실하고 모호한 음성을 이해하기 위해 확률적 추론을 사용한다.