gzip으로 텍스트를 생성할 수 있다
원제 Can gzip be a language model?
109 포인트댓글 37
Key Point
기존의 대규모 학습된 신경망 없이 순수 표준 라이브러리만으로 언어 모델이 동작하는 방식을 보여주며, 압축과 예측의 수학적 동치성을 실제로 구현한 흥미로운 증명이다.
핵심 요약
- 정보 이론에서 압축은 예측과 동치이므로, 신경망 없이 OS의 gzip 압축기만으로 언어 모델처럼 동작할 수 있다.
- gzip은 최근 텍스트의 32KiB 슬라이딩 윈도우에서 매칭을 찾아 압축하는데, 이를 확률 점수로 변환할 수 있다.
- 코퍼스를 gzip의 윈도우에 포함시켜 프라임한 후, 후보 텍스트를 덧붙여 압축했을 때의 길이를 측정해 점수를 매긴다.
- 단일 바이트 단위로는 양자화 노이즈로 신호가 묻히므로, 여러 바이트 스팬에 대해 빔 서치를 실행한다.
- 최근 꼬리 부분만 문맥에 유지하면 반복 루프를 방지하고, 코퍼스에 나타난 바이트들을 확장하며 최적 후보들을 선별해 순차 생성한다.
- 결과는 완벽하진 않지만 신경망 없이 코퍼스의 구조를 학습해 의미 있는 텍스트를 생성한다.