Hacker News기타

공백 문자 판단, 생각보다 훨씬 복잡하다

원제 How hard is it to check for whitespace?

114 포인트댓글 27
Key Point

공백 판단 같은 단순해 보이는 함수도 유니코드 정의의 다양성, 런타임 간 불일치, 변화하는 표준 때문에 복잡하며, 성능을 위해 완전 해시 함수까지 동원하는 실제 사례를 보여준다.

핵심 요약

  • 유니코드는 공백 문자를 25개로 정의하며, 일반적인 스페이스(U+0020)뿐 아니라 탭, 줄바꿈, 다양한 너비의 공백 문자들을 포함한다.
  • 자바·파이썬·자바스크립트 등 런타임마다 공백의 정의가 다르다. 예를 들어 자바는 유니코드의 NO-BREAK SPACE(U+00A0)를 제외하지만 파이썬은 포함시킨다.
  • 파이썬은 유니코드보다 많은 29개의 공백 문자를 인식하고, 자바스크립트는 정규식의 \s로 표현하되 유니코드와 다른 집합을 사용한다.
  • 유니코드는 계속 진화하므로 공백의 정의도 변한다. 예를 들어 유니코드 6.3에서 몽골어 VOWEL SEPARATOR(U+180E)가 공백에서 제외되어 25개로 줄어들었다.
  • Guava 라이브러리는 완전 해시 함수(perfect hash function)를 이용해 빠르게 공백을 판단한다. 매직 넘버 1682554634를 곱하고 27비트 우측 시프트하여 32개 슬롯 중 하나를 선택해 비교한다.
  • 이 최적화 방식은 git 히스토리를 보면 mod-79 버전을 거쳐 완성되었으며, 완전 해시 함수는 HTTP 메서드 판단 같은 다른 용도에도 적용할 수 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗