27.4KB WebGPU 기반 범용 코드 구문 강조기 공개
Key Point
대규모 코드 파일의 구문 강조가 필요한 개발자들에게 극도로 가볍고 빠른 대안을 제공한다.
핵심 요약
- Vercel Labs의 Shu Ding이 gpu-lexer라는 언어 불특정 구문 강조기를 개발했다.
- WebGPU 기반 작은 모델이 로컬과 파일 전체 문맥을 결합해 소스코드를 단어, 공백, 줄바꿈, 기호 등으로 분해한 뒤 각 부분의 타입을 레이블링한다.
- 학습하지 않은 언어도 주변 맥락에서 타입을 추측하도록 설계되었다.
- 번들 크기는 27.4KB로 언어별 모델이 필요한 Shiki(최대 991.5KB)나 Highlight.js(240.4KB)보다 훨씬 작다.
- 벤치마크에서 대용량 파일(5.56M 자)을 처리할 때 402ms로 다른 도구(Shiki 29.6s, Highlight.js 1.29s)보다 10배 이상 빠르다.
- 학습 데이터에 없는 파일에서 Shiki 대비 토큰 레이블 일치도는 90.35%다.