공백 문자 판단, 생각보다 훨씬 복잡하다
원제 How hard is it to check for whitespace?
114 포인트댓글 27

Key Point
공백 판단 같은 단순해 보이는 함수도 유니코드 정의의 다양성, 런타임 간 불일치, 변화하는 표준 때문에 복잡하며, 성능을 위해 완전 해시 함수까지 동원하는 실제 사례를 보여준다.
핵심 요약
- 유니코드는 공백 문자를 25개로 정의하며, 일반적인 스페이스(U+0020)뿐 아니라 탭, 줄바꿈, 다양한 너비의 공백 문자들을 포함한다.
- 자바·파이썬·자바스크립트 등 런타임마다 공백의 정의가 다르다. 예를 들어 자바는 유니코드의 NO-BREAK SPACE(U+00A0)를 제외하지만 파이썬은 포함시킨다.
- 파이썬은 유니코드보다 많은 29개의 공백 문자를 인식하고, 자바스크립트는 정규식의 \s로 표현하되 유니코드와 다른 집합을 사용한다.
- 유니코드는 계속 진화하므로 공백의 정의도 변한다. 예를 들어 유니코드 6.3에서 몽골어 VOWEL SEPARATOR(U+180E)가 공백에서 제외되어 25개로 줄어들었다.
- Guava 라이브러리는 완전 해시 함수(perfect hash function)를 이용해 빠르게 공백을 판단한다. 매직 넘버 1682554634를 곱하고 27비트 우측 시프트하여 32개 슬롯 중 하나를 선택해 비교한다.
- 이 최적화 방식은 git 히스토리를 보면 mod-79 버전을 거쳐 완성되었으며, 완전 해시 함수는 HTTP 메서드 판단 같은 다른 용도에도 적용할 수 있다.