Hugging Face 논문AI · 머신러닝

토큰화 효율 높이는 기능 분해 방식 제안

원제 The Functionalizer: Lossless Functional Decomposition for Subword Tokenization

추천 16댓글 3Connor Makowski, Willem Guter
Key Point

같은 단어의 다양한 표기를 효율적으로 처리해 모델의 어휘 크기를 줄이고 코드 생성 정확도를 높이는 실질적 개선 방법이기 때문입니다.

핵심 요약

  • 기존 서브워드 토크나이저는 같은 단어의 대소문자·악센트 변형(hello, Hello, Héllo)을 서로 다른 어휘로 처리해 임베딩 공간이 파편화되거나, 정규화로 정보를 손실시킨다.
  • 논문은 직교 및 구조 변형을 함수형 분해로 처리하는 Functionalizer를 제안한다.
  • 대문자화(CAPITALIZE), 발음 기호(13개 전용 옵코드), 문자 반복(REPEAT, MULTIREPEAT) 등의 가역 연산자를 사용해 유니코드 개인용 영역에 인코딩한 프리픽스 스트림으로 정규 기본 토큰 앞에 붙인다.
  • 자연언어와 코드 코퍼스에서 완전한 커버리지를 유지하면서 어휘 크기를 최대 19.7% 줄인다.
  • 98M 파라미터 GPT-2 모델 평가 결과 Python 코드 문법 유효성이 7.70%에서 9.12%로 향상되었고, 자연언어 산문의 중복 n-그램 반복이 감소했다.
  • 함수형 분해가 어휘 효율적이고 구조 인식형 언어 모델링의 효과적 메커니즘임을 보여주며, 프로덕션 규모에서의 추가 검증을 제안한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗