GGML 1.0.0 출시, 모든 백엔드 성능 대폭 개선
원제 Ggml v1.0.0
136 포인트댓글 25
Key Point
LLM 추론 속도와 효율성을 크게 좌우하는 GGML 1.0.0은 CUDA, Metal, Vulkan, OpenCL 등 주요 백엔드에서 연산 융합과 양자화 최적화를 대폭 강화해 실제 성능에 직결되는 변화다.
핵심 요약
- GGML 1.0.0이 공개되었으며, 구식 API를 정리하고 레거시 DIAG_MASK 연산을 제거했으며 RPC 프로토콜을 v9로 업그레이드했다.
- YaRN 잘림 설정을 조정할 수 있는 ggml_rope_set_truncate/ggml_rope_get_truncate가 추가되었고, TRI의 역전파가 구현되었다.
- 스케줄러가 읽지 않는 입력은 업로드를 건너뛰고 미리 불러오기를 최적화해 효율성을 개선했다.
- CUDA에서 배치 크기 2-24에 대한 적은 행 MMQ, BF16 행렬용 MMVF, OCP FP8 지원, NVFP4 게이트/업 행렬 융합 GLU가 추가되었다.
- Metal 백엔드는 MoE 라우팅을 융합했고, Vulkan은 인텔 플래시어텐션 프리필 커널, 배치 텐서 복사, ReBAR 감지를 추가했다.
- SYCL에 장치 측 MoE 스케줄러가 추가되었고, OpenCL은 Adreno 플래시어텐션을 분해했으며 다양한 GEMV 커널을 지원한다.
- WebGPU는 배치 텐서 API, GROUP_NORM·MEAN·COUNT_EQUAL·PAD_REFLECT_1D 커널, YaRN 잘림 설정을 추가했다.
- Hexagon은 Q5_0/Q5_1 지원, conv_2d 최적화, conv_3d 추가, RMS_NORM_MUL에 포스트 노름 융합, 자동 libhtp 로딩을 구현했다.
- CPU 백엔드는 MUL_MAT을 F32 src1로 전환했고, ARM NEON에서 4x4 simd_gemm 타일을 활성화했으며 SpacemiT GATED_DELTA_NET RVV와 Q4_1 32x256 HP 커널을 추가했다.