마이크로소프트, 1비트 LLM 추론 프레임워크 공개

핵심 요약

• 마이크로소프트가 1비트 LLM(BitNet b1.58)을 위한 공식 추론 프레임워크 bitnet.cpp를 출시했다.
• x86 CPU에서 2.37~6.17배 속도 향상, ARM CPU에서 1.37~5.07배 향상을 달성하며 에너지 소비는 x86에서 71.9~82.2%, ARM에서 55.4~70.0% 감소한다.
• 100B 파라미터의 BitNet b1.58 모델을 단일 CPU에서 초당 5~7 토큰 속도로 실행 가능하다.
• 공식 모델로는 4T 토큰으로 학습된 BitNet-b1.58-2B-4T(2.4B 파라미터)와 임베딩 특화 모델 BitNet-embedding-0.6B, BitNet-embedding-270M을 제공한다.
• I2_S 및 TL 계열 양자화 커널을 지원하며, 온라인 데모와 CPU·GPU 빌드 옵션을 제공한다.
• Python 3.10 이상, CMake 3.22 이상, Clang 18 이상을 요구하며 Windows·Linux·macOS에서 빌드 가능하다.
• 입력 프롬프트와 생성 토큰 수, 스레드 수, 컨텍스트 크기 등을 설정할 수 있는 run_inference.py 스크립트로 추론을 실행한다.
• BitNet-embedding-270M은 x86에서 F16 대비 1.32~1.74배, BitNet-embedding-0.6B는 1.42~2.28배 속도 향상을 달성하며 2비트 가중치로도 손실 없는 품질을 제공한다.
• llama.cpp를 기반으로 하며 T-MAC의 룩업 테이블 방식론을 활용해 커널을 구축했다.
• 커뮤니티 모델로 0.7B~10B 파라미터의 BitNet, Llama3, Falcon 계열 1비트 모델들도 지원한다.
• 2024년 10월 bitnet.cpp 1.0 공개 이후 2025년 4월 공식 2B 모델, 2026년 1월 CPU 최적화, 2026년 7월 임베딩 모델과 멀티언어 ASR 엔진을 순차 공개했다.