임베딩 테이블을 16MB 고정 코드로 대체, 소형 모델 파일 1/7 축소
원제 Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
추천 13댓글 4
Key Point
소형 모델 배포 시 파일 크기가 1/7로 축소되고 CPU 속도가 5~6배 빨라지므로, 엣지 디바이스와 저사양 환경에서의 모델 배포 방식을 바꿀 가능성이 있다.
핵심 요약
- 소형 언어 모델에서 임베딩 테이블은 전체 파라미터의 대부분을 차지하고, Gemma 3 270M 모델의 경우 268M 파라미터 중 168M이 임베딩 테이블이며, 양자화 후에도 16비트로 남아 파일 크기의 대부분을 차지한다.
- 연구팀은 학습 가능한 임베딩 테이블을 주성분 투영과 부호 이진화로 도출한 512비트 코드의 동결 테이블(16MB, 학습 가능 파라미터 없음)로 대체하고, 동일한 Gemma 형태의 모델을 2.05B 토큰으로 학습했다.
- 학습된 임베딩 테이블은 0.20 나츠 검증 손실을 위해 2.6배 많은 학습 가능 파라미터를 필요로 했으나, LAMBADA, HellaSwag, PIQA 벤치마크에서는 동결 테이블 모델이 동일하거나 더 나은 성능을 보였고 ARC-Easy에서만 학습된 테이블이 앞섰다.
- 삼진(ternary) BitNet b1.58 바디와 함께 전체 모델 크기는 46MB이며, 노트북 CPU에서 초당 615~740 토큰 생성 속도로 llama.cpp의 float 8비트 GGUF 대비 5~6배 빠르고 메모리는 7분의 1 수준이다.
- 동결 테이블은 드물게 나타나는 단어에서 1.7~2.3 나츠 우위를 보였고, 훈련 후 10,000개의 새로운 단어를 추가할 때 3% 비용만 발생하는 반면 학습된 테이블은 43% 성능 하락을 겪었다.
- 연구팀은 모델 가중치, 데이터, 모든 평가 결과를 공개했다.