GitHub TrendingAI · 머신러닝오늘의 주요

ggml-org/ggml

머신러닝 텐서 라이브러리 GGML 오픈소스

원제 ggml-org/ggml

스타 15,815당일 +154C++
Key Point

경량 모델 추론과 량자화에 의존하는 프로젝트들이 채택하는 핵심 인프라로, 의존성 없이 다양한 하드웨어에서 동작하는 오픈소스 라이브러리의 선택지를 이해해야 한다.

핵심 요약

  • GGML은 머신러닝을 위한 간단하고 이식 가능하며 효율적인 텐서 라이브러리로, 최소한의 설정으로 사용할 수 있도록 설계됐다.
  • 의존성 없는 순수 C/C++ 구현이며 x86, ARM, RISC-V, LoongArch, PowerPC, s390x, WebAssembly 등 다양한 플랫폼을 지원한다.
  • x86, ARM, RISC-V용 SIMD 최적화 커널을 포함하고 있으며, CPU, GPU, NPU, 브라우저 등 광범위한 백엔드를 지원한다.
  • 2비트부터 8비트까지의 정수 양자화와 MXFP4, NVFP4 같은 마이크로스케일링 포맷을 제공한다.
  • 런타임 중 메모리 할당이 전혀 발생하지 않으며, GGUF 파일 포맷 문서와 튜토리얼이 제공된다.
  • 코어 라이브러리 변경 사항은 llama.cpp 저장소의 PR로 기여하도록 안내하고 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗