특정 벤치마크에 맞춘 하드코딩과 캐싱으로 성능을 부풀린 사례가 공개돼, 오픈소스 벤치마크의 신뢰성을 지키는 과정을 보여준다.
핵심 요약
ClickBench 벤치마크에서 pgrust 항목을 제거했다. 이 엔트리는 43개 벤치마크 쿼리 각각에 대해 손으로 작성한 커널(q00.rs~q36.rs)을 포함하고 있었다.
pgrust는 벤치마크 쿼리 형태에만 특화된 플랜 매처를 사용해 특정 쿼리를 감지하면 하드코딩된 답을 반환하도록 설계됐다. 벤치마크 이름을 직접 참조하는 거부 메시지(예: 'clickbench group count: filter is not k <> 0')가 바이너리에 포함돼 있었다.
Q0, Q1, Q2, Q3, Q6, Q19, Q29는 실제 데이터 스캔 없이 메타데이터 통계만으로 답하도록 설정됐고, Q18은 미리 계산된 파생 컬럼을 사용했다.
003당일 +211DeepSeek와 GLM을 개인 하드웨어에서 돌리는 경량 추론 엔진 공개Salvatore Sanfilippo가 만든 DwarfStar는 DeepSeek V4/V4.1 Flash, GLM 5.2/5.3, Qwen3.8 Flash 등 주요 오픈웨이트 모델을 개인 하드웨어에서 실행하는 네이티브 추론 엔진으로, Metal·CUDA·ROCm을 지원한다.
개인 맥이나 워크스테이션에서 DeepSeek·GLM 같은 최신 고성능 모델을 실제로 돌릴 수 있는 구체적인 방법과 제약조건(메모리, SSD 스트리밍 필요 여부)이 명확해진다.
핵심 요약
Salvatore Sanfilippo가 만든 DwarfStar는 DeepSeek V4/V4.1 Flash, GLM 5.2/5.3, Qwen3.8 Flash 등 주요 오픈웨이트 모델을 개인 하드웨어에서 실행하는 네이티브 추론 엔진으로, Metal·CUDA·ROCm을 지원한다.
일반적인 GGUF 러너가 아니라 특정 모델 몇 개에 최적화된 자체 포함 C 코드이며, 프로젝트가 생산한 GGUF 파일만 사용한다.
Metal은 애플 실리콘 맥(96GB 이상, 또는 SSD 스트리밍으로 더 작은 기계에서도 가능)을 주요 대상으로, CUDA는 DGX Spark와 Ada/L40S 카드를 포함한 다중 GPU 시스템을 지원하며, ROCm은 Strix Halo 같은 시스템을 대상으로 한다.
