쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 22일 (일)까지 5067건
25건 · "GGUF"조건 지우기 ×
001 06:11 ▲ 234 · 댓글 46 경량 모델 압축 컴파일러, 애플 실리콘에서 초고속 추론 LookAtMyQuant는 양자화 컴파일러로, 압축 시 모델 각 부분이 출력에 미치는 손상을 측정해 가장 작은 손상으로 목표 용량에 맞추는 코드를 선택한다. AI · 머신러닝 · Inkling-2-Mini in 5.4 GB Memory
Key Point 대형 LLM을 Apple Silicon에서 실시간 실행 가능한 크기로 압축하면서 성능 손실을 최소화하는 기술로, 모바일과 엣지 디바이스에서의 LLM 활용 방식을 바꿀 수 있다.
핵심 요약
LookAtMyQuant는 양자화 컴파일러로, 압축 시 모델 각 부분이 출력에 미치는 손상을 측정해 가장 작은 손상으로 목표 용량에 맞추는 코드를 선택한다. Gemma 4 E2B에서 같은 파일 크기 기준 GGUF가 Q4_K_M보다 KL(Kullback-Leibler divergence)이 12배 낮다. Qwen3.5-4B를 1.23GB(2.3비트/가중치)로 압축하면 540개 수학 문제 중 330개를 풀고, Prism ML의 Bonsai 2는 같은 크기에서 328개를 푼다(원본은 359개). 전체 요약 12문장 읽기 → 002 03:11 당일 +116 Apple 실리콘용 로컬 AI 추론 엔진 Splash 출시 Splash는 M3 이상 Apple 실리콘에서 Qwen·Ornith·Flint 등 27B~122B 모델을 로컬 추론하는 C++ 기반 엔진이다. AI · 머신러닝 · incoai/splash · C++
Key Point Apple 맥 사용자가 외부 클라우드 없이 고성능 LLM을 로컬에서 돌릴 수 있는 선택지가 생겼으며, 기존 llama.cpp 대비 큰 폭의 속도 향상으로 실용성이 크게 높아졌다.
핵심 요약
Splash는 M3 이상 Apple 실리콘에서 Qwen·Ornith·Flint 등 27B~122B 모델을 로컬 추론하는 C++ 기반 엔진이다. DFlash2 추측적 디코딩, Metal 커널 최적화, 자동 메모리 계획을 조합해 동작하며, 비전·도구 호출·내장 채팅 UI를 지원한다. OpenAI/Anthropic 호환 API로 스트리밍, 도구 호출, JSON Schema 출력을 제공하고, 프리필 캐시 재사용으로 동시 요청을 자동 배칭한다. 전체 요약 12문장 읽기 → 003 00:11 당일 +154 머신러닝 텐서 라이브러리 GGML 오픈소스 GGML은 머신러닝을 위한 간단하고 이식 가능하며 효율적인 텐서 라이브러리로, 최소한의 설정으로 사용할 수 있도록 설계됐다. AI · 머신러닝 · ggml-org/ggml · C++
Key Point 경량 모델 추론과 량자화에 의존하는 프로젝트들이 채택하는 핵심 인프라로, 의존성 없이 다양한 하드웨어에서 동작하는 오픈소스 라이브러리의 선택지를 이해해야 한다.
핵심 요약
GGML은 머신러닝을 위한 간단하고 이식 가능하며 효율적인 텐서 라이브러리로, 최소한의 설정으로 사용할 수 있도록 설계됐다. 의존성 없는 순수 C/C++ 구현이며 x86, ARM, RISC-V, LoongArch, PowerPC, s390x, WebAssembly 등 다양한 플랫폼을 지원한다. x86, ARM, RISC-V용 SIMD 최적화 커널을 포함하고 있으며, CPU, GPU, NPU, 브라우저 등 광범위한 백엔드를 지원한다. 전체 요약 6문장 읽기 → 004 18:11 ▲ 124 · 댓글 28 알슬로스 Qwen3.8-27B 양자화 기술, 정확도 5~10% 향상 알슬로스(Unsloth)가 Qwen3.8-27B를 위한 새 양자화 기술 Dynamic V3.1을 발표했다. AI · 머신러닝 · Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update
Key Point 로컬에서 대규모 언어 모델을 실행하려는 개발자에게 5~10% 정확도 향상 기술과 구체적인 하드웨어 요구사항·설정값이 제시되었다.
핵심 요약
알슬로스(Unsloth)가 Qwen3.8-27B를 위한 새 양자화 기술 Dynamic V3.1을 발표했다. Dynamic V3.1은 기존 Dynamic 버전 대비 평균 정확도를 5~10% 향상시키며, Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6 등 다양한 벤치마크에서 개선 효과를 확인했다. Qwen3.8-27B는 27B 파라미터 모델로 256K 컨텍스트 윈도우와 비전·추론 능력을 갖추고 있으며, 17GB RAM/VRAM 환경에서 로컬 실행 가능하다. 전체 요약 13문장 읽기 → 005 06:11 ▲ 100 · 댓글 21 오픈소스 AI 모델 보존 플랫폼 LibreAGI 호스팅 서비스가 폐지되어도 AI 모델이 사라지지 않도록 보존하는 개인 BitTorrent 추적기 LibreAGI를 공개했다. 오픈소스 · 도구 · Libreagi – Save OSS Models
Key Point 호스팅 서비스 폐지로 사라질 수 있는 오픈소스 AI 모델을 분산 네트워크에서 영구 보존하려는 새로운 접근 방식으로, 기계학습 엔지니어와 AI 커뮤니티에 중요한 선택지를 제공한다.
핵심 요약
호스팅 서비스가 폐지되어도 AI 모델이 사라지지 않도록 보존하는 개인 BitTorrent 추적기 LibreAGI를 공개했다. 회원들이 사라질 가능성이 높은 오픈소스 모델의 사본을 보관하며, 크레딧은 파일 크기와 보관 기간에 따라 지급된다. 동일한 모델이 하나의 사본만 있을 때 기본 보상의 4배를 획득하도록 설계해 희귀 모델 보존을 우선한다. 전체 요약 7문장 읽기 → 006 21:11 ▲ 116 · 댓글 26 화웨이, 로컬 추론용 양자화 도구 MACaQ 공개 화웨이가 개발한 MACaQ는 텍스트, 이미지, 비디오, 오디오 모델을 양자화하는 모델 무관 양자화 도구로, llama.cpp, vLLM, Diffusers, PyTorch 등 다양한 백엔드를 지원한다. AI · 머신러닝 · Huawei releases MACaQ, its internal quantizer for local inference
Key Point 로컬 환경에서 대규모 모델을 빠르게 양자화하려는 개발자들에게 성능과 속도 모두 우수한 새로운 도구가 공개되어, 리소스 제한적인 환경에서의 모델 배포 선택지가 확대되었다.
핵심 요약
화웨이가 개발한 MACaQ는 텍스트, 이미지, 비디오, 오디오 모델을 양자화하는 모델 무관 양자화 도구로, llama.cpp, vLLM, Diffusers, PyTorch 등 다양한 백엔드를 지원한다. 122B 파라미터 모델을 64분 내에 32.5GB 메모리만으로 양자화할 수 있으며, MR-GPTQ와 DuQuant++보다 더 낮은 퍼플렉시티를 달성하거나 Llama-3-8B에서 11배 빠른 양자화 시간으로 동등한 성능을 제공한다. llama.cpp 백엔드는 2/3/4비트 GGUF 포맷의 텍스트 생성을 지원하고 CPU 실행도 가능하며, vLLM은 W4A4 또는 가중치 전용 양자화로 텍스트 생성 및 서빙을 지원한다. 전체 요약 8문장 읽기 → 007 21:11 당일 +120 안드로이드에서 작동하는 AI 에이전트 플랫폼 Operit 공개 Operit AI는 안드로이드용 오픈소스 AI 에이전트 플랫폼으로, 클라우드 모델과 로컬 모델을 지원하며 도구 호출·워크플로우·확장 기능(ToolPkg, MCP, Skills)을 통해 정보 검색·파일 처리·코드 개발·기기 자동화 같은 실제 작업을 수행한다. AI · 머신러닝 · AAswordman/Operit · Kotlin
Key Point 안드로이드 스마트폰이 개발 도구이자 AI 에이전트 플랫폼으로 동작하는 방식과 기술 스택을 이해할 필요가 있으며, 로컬·클라우드 모델 통합, 자동화, 개발 환경 구성 방식이 모바일 개발자와 AI 시스템 통합에 관심 있는 개발자에게 참고 기준이 된다.
핵심 요약
Operit AI는 안드로이드용 오픈소스 AI 에이전트 플랫폼으로, 클라우드 모델과 로컬 모델을 지원하며 도구 호출·워크플로우·확장 기능(ToolPkg, MCP, Skills)을 통해 정보 검색·파일 처리·코드 개발·기기 자동화 같은 실제 작업을 수행한다. 태스크 지향형 에이전트 작업 공간을 제공하며, 첨부 파일·작업 공간 컨텍스트·도구 실행 진행 상황·파일 변경 사항·다중 턴 작업을 지원한다. OpenAI·Anthropic·Gemini 등 여러 클라우드 모델을 연결할 수 있고, MNN 모델이나 llama.cpp를 통한 GGUF 모델로 로컬 추론을 실행하거나 Ollama·LM Studio 같은 로컬 모델 서비스와 연동할 수 있다. 전체 요약 13문장 읽기 → 008 21:12 당일 +211 Flutter로 만든 오프라인 LLM 클라이언트, 안드로이드에서 로컬 실행 지원 PrivateLM은 Flutter 기반의 크로스플랫폼 AI 채팅 클라이언트로, 안드로이드에서 GGUF 모델을 로컬로 다운로드해 GPU 가속(Vulkan)으로 인터넷 없이 실행할 수 있다. AI · 머신러닝 · orailnoor/cross-platform-llm-client · C++
Key Point 안드로이드 폰에서 인터넷 없이 LLM을 직접 실행하고, 필요시 클라우드 API로 전환하는 프로덕션급 오픈소스 앱으로, 프라이버시를 중시하는 개발자에게 실제 대안이 된다.
핵심 요약
PrivateLM은 Flutter 기반의 크로스플랫폼 AI 채팅 클라이언트로, 안드로이드에서 GGUF 모델을 로컬로 다운로드해 GPU 가속(Vulkan)으로 인터넷 없이 실행할 수 있다. 클라우드 API 모드에서는 OpenAI, Anthropic, Google Gemini, Kimi(Moonshot AI)로 자동 전환되며, 앱 내에서 두 방식을 원활하게 전환할 수 있다. 텍스트와 이미지를 함께 보낼 수 있는 멀티모달 채팅을 지원하며, Qwen2-VL 같은 로컬 모델과 클라우드 제공자 모두 비전 기능을 활용할 수 있다. 전체 요약 12문장 읽기 → 009 12:54 새 버전 올라마 0.40.15, 새 AI 모델과 동시 요청 지원 Ollama v0.40.15가 공개되었으며, MiMo V2.6(샤오미의 9B 코드·에이전트 모델)와 AutoTrust 의사결정 모델(9b, 35b, 27b-vl 크기로 35b와 27b-vl은 이미지 인식 가능)이 새로 지원된다. AI · 머신러닝 · ollama/ollama@v0.40.15
Key Point 로컬 AI 모델 실행 프레임워크의 주요 버전 업데이트로, 새 모델 지원과 동시 요청 처리 개선으로 개발 워크플로우가 확대된다.
핵심 요약
Ollama v0.40.15가 공개되었으며, MiMo V2.6(샤오미의 9B 코드·에이전트 모델)와 AutoTrust 의사결정 모델(9b, 35b, 27b-vl 크기로 35b와 27b-vl은 이미지 인식 가능)이 새로 지원된다. ollama launch 명령이 Kimi Code CLI를 지원하고 기존 kimi-cli 설정 마이그레이션을 제공하며, Pi 모델 목록이 자동으로 채워지고 Claude Desktop의 모델 선택창에 Ollama 모델명이 표시된다. Recurrent과 Vision GGUF 모델이 이제 한 번에 여러 요청을 처리할 수 있게 되었다. 전체 요약 6문장 읽기 → 010 12:54 ▲ 11 · 댓글 2 루프 구조 언어 모델 Dory1.0-4B 공개, 작은 규모로 더 큰 모델 능력 구현 Hugging Face와 아카이브 논문 공개: 43억 파라미터 규모의 루프형 언어 모델 Dory1.0-4B를 발표했다. AI · 머신러닝 · Dory1.0-4B: A Looped Normalized-GPT
Key Point 작은 규모 모델이 루프 구조를 통해 더 큰 모델 수준의 성능을 달성할 수 있다는 것을 보여주며, 토큰 생성 효율과 메모리 사용 최적화 방식이 에지 디바이스와 추론 비용 절감에 영향을 미친다.
핵심 요약
Hugging Face와 아카이브 논문 공개: 43억 파라미터 규모의 루프형 언어 모델 Dory1.0-4B를 발표했다. 정규화 Transformer 기반으로 입력 블록, 공유 루프 블록, 출력 블록으로 구성하며, 추론 시 루프 블록을 가변 횟수로 반복 실행할 수 있다. 6조 개 토큰으로 사전 학습했으며, 초기 4.5조 토큰은 NVFP4 양자화로 학습했고 이후 컨텍스트 길이를 256K로 확장했다. 전체 요약 9문장 읽기 → 011 21:11 당일 +108 로컬 AI 스튜디오, 설치 없이 Windows·Linux·macOS에서 실행 Portable AI Studio는 인터넷 연결 없이 로컬에서 온전히 작동하는 데스크톱 AI 스튜디오로, Windows·Linux·macOS를 지원한다. AI · 머신러닝 · techjarves/Portable-Local-Studio · JavaScript
Key Point 로컬 AI의 네 가지 핵심 기능(이미지·채팅·음성 인식·음성 합성)을 한 애플리케이션에서 설치 과정 없이 바로 사용할 수 있게 하는 새로운 접근이며, 하드웨어별 자동 가속 감지로 개발자의 수동 설정 부담을 크게 줄인다.
핵심 요약
Portable AI Studio는 인터넷 연결 없이 로컬에서 온전히 작동하는 데스크톱 AI 스튜디오로, Windows·Linux·macOS를 지원한다. 이미지 생성(Stable Diffusion), LLM 채팅(llama.cpp), 음성 인식(Whisper), 음성 합성(Kokoro TTS) 네 가지 기능을 통합한다. Node.js 런타임과 GPU 백엔드가 자체 포함돼 있어 설치나 시스템 환경 설정이 불필요하며, 사용자는 배치 파일이나 쉘 스크립트를 실행하기만 하면 된다. 전체 요약 12문장 읽기 → 012 09:11 당일 +108 LLM 추론 최적화 라이브러리 vLLM, 200+ 모델 지원 vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다. AI · 머신러닝 · vllm-project/vllm · Python
Key Point LLM 서빙 성능이 중요해지면서 vLLM 같은 최적화된 추론 엔진의 역할이 커지고 있으며, 광범위한 모델 지원과 하드웨어 호환성이 프로덕션 배포의 실질적 선택지를 제공한다.
핵심 요약
vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다. PagedAttention을 통해 메모리를 효율적으로 관리하고 연속 배칭, 청크 프리필, 프리픽스 캐싱으로 높은 처리량을 제공한다. FP8, INT4, GPTQ/AWQ, GGUF 등 다양한 양자화 방식과 FlashAttention, FlashInfer 같은 최적화 커널을 지원한다. 전체 요약 8문장 읽기 → 013 21:11 ▲ 13 · 댓글 4 임베딩 테이블을 16MB 고정 코드로 대체, 소형 모델 파일 1/7 축소 소형 언어 모델에서 임베딩 테이블은 전체 파라미터의 대부분을 차지하고, Gemma 3 270M 모델의 경우 268M 파라미터 중 168M이 임베딩 테이블이며, 양자화 후에도 16비트로 남아 파일 크기의 대부분을 차지한다. AI · 머신러닝 · Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
Key Point 소형 모델 배포 시 파일 크기가 1/7로 축소되고 CPU 속도가 5~6배 빨라지므로, 엣지 디바이스와 저사양 환경에서의 모델 배포 방식을 바꿀 가능성이 있다.
핵심 요약
소형 언어 모델에서 임베딩 테이블은 전체 파라미터의 대부분을 차지하고, Gemma 3 270M 모델의 경우 268M 파라미터 중 168M이 임베딩 테이블이며, 양자화 후에도 16비트로 남아 파일 크기의 대부분을 차지한다. 연구팀은 학습 가능한 임베딩 테이블을 주성분 투영과 부호 이진화로 도출한 512비트 코드의 동결 테이블(16MB, 학습 가능 파라미터 없음)로 대체하고, 동일한 Gemma 형태의 모델을 2.05B 토큰으로 학습했다. 학습된 임베딩 테이블은 0.20 나츠 검증 손실을 위해 2.6배 많은 학습 가능 파라미터를 필요로 했으나, LAMBADA, HellaSwag, PIQA 벤치마크에서는 동결 테이블 모델이 동일하거나 더 나은 성능을 보였고 ARC-Easy에서만 학습된 테이블이 앞섰다. 전체 요약 6문장 읽기 → 014 12:11 새 버전 Ollama v0.40.6 릴리스, 실행기 최적화와 GGUF 포맷 확장 Ollama v0.40.6이 릴리스되었으며, Windows 환경에서 고아 프로세스 실행기 문제를 해결했다. AI · 머신러닝 · ollama/ollama@v0.40.6
Key Point 로컬 LLM 서버인 Ollama의 안정성 개선과 양자화 포맷 확장으로 모델 호환성이 늘어나고, 클라우드 기능이 추가되어 사용자 편의성이 증가했다.
핵심 요약
Ollama v0.40.6이 릴리스되었으며, Windows 환경에서 고아 프로세스 실행기 문제를 해결했다. GGUF 포맷에 q2_0 텐서와 파일 타입을 추가하여 양자화 지원을 확장했다. Ollama의 클라우드 서비스에서 Clef를 런칭할 수 있도록 기능을 추가했다. 전체 요약 4문장 읽기 → 015 06:11 ▲ 102 · 댓글 28 PS5에서 언어모델 서버 구축, 집 전체 기기에서 사용 PS5LM은 탈옥한 PS5의 GPU에서 llama.cpp를 실행하여 GGUF 형식 언어모델을 로드하고 네트워크 기기들에 서빙하는 어플리케이션이다. 하드웨어 · 시스템 · Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
Key Point 탈옥 PS5를 개인 서버로 변환하여 클라우드 없이 로컬에서 언어모델을 운영할 수 있으며, TV 기반 관리 인터페이스와 기존 AI 도구와의 호환성이 실용성을 높인다.
핵심 요약
PS5LM은 탈옥한 PS5의 GPU에서 llama.cpp를 실행하여 GGUF 형식 언어모델을 로드하고 네트워크 기기들에 서빙하는 어플리케이션이다. 콘솔의 RDNA 2 GPU와 11.4GB 공유 메모리를 활용하며, llama.cpp가 지원하는 모든 아키텍처와 양자화 기법을 사용할 수 있다. OpenAI의 /v1/chat/completions와 Anthropic의 /v1/messages API를 구현하여 기존 클라이언트(Claude Code 포함)와 호환되며, 브라우저 채팅 인터페이스도 제공한다. 전체 요약 12문장 읽기 → 016 21:11 당일 +100 만화 자동 번역 도구 Koharu, Rust로 완전 로컬 실행 Koharu는 Rust로 작성된 머신러닝 기반 만화 번역 도구로, 모든 모델과 LLM을 사용자의 로컬 머신에서 실행하여 데이터 프라이버시를 보장한다. 오픈소스 · 도구 · koharu-rs/koharu · Rust
Key Point 완전 로컬 실행 만화 번역 자동화 도구로, 프라이버시 우려 없이 복잡한 시각 처리와 자연어 처리를 통합하는 오픈소스 솔루션을 원하는 사용자에게 선택지가 생겼다.
핵심 요약
Koharu는 Rust로 작성된 머신러닝 기반 만화 번역 도구로, 모든 모델과 LLM을 사용자의 로컬 머신에서 실행하여 데이터 프라이버시를 보장한다. 객체 검출, OCR, 인페인팅, LLM을 조합해 만화 번역 프로세스를 자동화하며, 래스터 이미지·압축 아카이브·PDF를 모두 지원한다. 텍스트 영역과 말풍선, 정리 영역을 감지·분할하고 대사·캡션·일반 텍스트에 대한 다중모드 OCR을 수행한다. 전체 요약 10문장 읽기 → 017 18:11 ▲ 132 · 댓글 41 80GB 모델을 32GB 램에서 실행하는 Janas, llama.cpp보다 2배 이상 빠르다 Janas-LLM은 48GB의 Qwen3-Next-80B 모델을 32GB 램의 노트북에서 실행하는 도구로, 모델 가중치를 디스크에 유지하면서 필요한 전문가(expert) 블록만 NVMe SSD에서 스트리밍한다. AI · 머신러닝 · Janas: Run LLMs larger than RAM by streaming experts from SSD
Key Point 32GB 메모리 제약에서 48GB 모델을 실행하면서 llama.cpp보다 2배 이상 빠른 속도를 달성한 새로운 방식이 기존 로컬 LLM 실행 방식의 성능 한계를 크게 개선한다.
핵심 요약
Janas-LLM은 48GB의 Qwen3-Next-80B 모델을 32GB 램의 노트북에서 실행하는 도구로, 모델 가중치를 디스크에 유지하면서 필요한 전문가(expert) 블록만 NVMe SSD에서 스트리밍한다. 같은 테스트 환경(32GB 메모리, Intel Core Ultra 9 185H, Arc 통합 GPU)에서 llama.cpp와 비교한 결과 모든 모델에서 Janas가 더 빠르며, Qwen3-Next-80B의 프롬프트 읽기 속도는 62 tok/s 대 16 tok/s, 토큰 생성은 24 tok/s 대 2.8 tok/s로 우월했다. Qwen3.5-0.8B 같은 소형 모델은 프롬프트 읽기에서 939 tok/s, 토큰 생성 130 tok/s에 도달했으며, 드래프팅 기능(다음 토큰 예측과 검증)을 활용하면 생성 속도를 최대 2배까지 높일 수 있다. 전체 요약 11문장 읽기 → 018 18:30 새 버전 Ollama v0.40.1 릴리스, 클라우드 API 및 버그 수정 Ollama v0.40.1이 출시되었으며 서버의 클라우드 사용량 및 잔액 API 프록시 기능이 추가되었다. AI · 머신러닝 · ollama/ollama@v0.40.1
Key Point 로컬 LLM 실행 플랫폼의 Windows 호환성 개선과 클라우드 연동 기능 확장으로, 더 많은 사용자가 안정적으로 Ollama를 사용할 수 있게 되었다.
핵심 요약
Ollama v0.40.1이 출시되었으며 서버의 클라우드 사용량 및 잔액 API 프록시 기능이 추가되었다. Windows에서 GGUF 모델 로드 시 2GiB 이상의 파일을 읽을 수 없던 버그가 수정되었다. CLI 온보딩 과정에서 불필요한 계정 단계가 제거되었다. 전체 요약 6문장 읽기 → 019 21:11 당일 +211 DeepSeek와 GLM을 개인 하드웨어에서 돌리는 경량 추론 엔진 공개 Salvatore Sanfilippo가 만든 DwarfStar는 DeepSeek V4/V4.1 Flash, GLM 5.2/5.3, Qwen3.8 Flash 등 주요 오픈웨이트 모델을 개인 하드웨어에서 실행하는 네이티브 추론 엔진으로, Metal·CUDA·ROCm을 지원한다. AI · 머신러닝 · antirez/ds4 · C
Key Point 개인 맥이나 워크스테이션에서 DeepSeek·GLM 같은 최신 고성능 모델을 실제로 돌릴 수 있는 구체적인 방법과 제약조건(메모리, SSD 스트리밍 필요 여부)이 명확해진다.
핵심 요약
Salvatore Sanfilippo가 만든 DwarfStar는 DeepSeek V4/V4.1 Flash, GLM 5.2/5.3, Qwen3.8 Flash 등 주요 오픈웨이트 모델을 개인 하드웨어에서 실행하는 네이티브 추론 엔진으로, Metal·CUDA·ROCm을 지원한다. 일반적인 GGUF 러너가 아니라 특정 모델 몇 개에 최적화된 자체 포함 C 코드이며, 프로젝트가 생산한 GGUF 파일만 사용한다. Metal은 애플 실리콘 맥(96GB 이상, 또는 SSD 스트리밍으로 더 작은 기계에서도 가능)을 주요 대상으로, CUDA는 DGX Spark와 Ada/L40S 카드를 포함한 다중 GPU 시스템을 지원하며, ROCm은 Strix Halo 같은 시스템을 대상으로 한다. 전체 요약 12문장 읽기 → 020 03:11 ▲ 101 · 댓글 19 Go 바이너리 하나로 로컬 LLM 구동하는 Janus 공개 Janus는 GGUF 모델을 GPU 또는 CPU에서 실행하는 단일 Go 바이너리로, Python·Docker·Ollama 없이도 작동한다. AI · 머신러닝 · Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia
Key Point 로컬 LLM 추론 환경에서 복잡한 의존성 없이 한 번에 실행 가능한 도구로, Ollama나 llama.cpp 대비 간단한 설정과 Go의 빌드 편의성을 제공한다.
핵심 요약
Janus는 GGUF 모델을 GPU 또는 CPU에서 실행하는 단일 Go 바이너리로, Python·Docker·Ollama 없이도 작동한다. Vulkan을 통해 AMD·Intel·NVIDIA GPU에서 추론을 수행하거나 CPU 폴백을 지원하며, OpenAI 호환 API(/v1/chat/completions, /v1/models)를 제공한다. 재시작 없이 GGUF 모델을 바꿀 수 있고, Cursor·Cline 같은 OpenAI 클라이언트와 연동되며, GGUF 메타데이터에서 자동으로 채팅 템플릿을 감지한다. 전체 요약 9문장 읽기 → 021 03:11 새 버전 Transformers 5.18.0 출시, Nemotron·NemotronH Omni 등 신모델 추가 Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. AI · 머신러닝 · huggingface/transformers@v5.18.0
Key Point Transformers는 파이토치의 표준 NLP 라이브러리이며, 이 버전은 실시간 음성 처리, 멀티모달 추론, 분산 학습 최적화 등 프로덕션 환경의 여러 문제를 해결한다.
핵심 요약
Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. NemotronH Omni 멀티모달 추론 모델은 Mamba-Transformer 언어 모델에 RADIO 비전 인코더와 Parakeet 사운드 인코더를 결합하여 텍스트, 이미지, 비디오, 음성을 동시에 처리한다. HyperCLOVAX Vision V2는 NAVER가 개발한 멀티모달 모델로 Qwen2.5-VL 비전 인코더를 탑재하고 체인오브싱크 추론을 위한 thinking 토큰을 지원한다. 전체 요약 8문장 읽기 → 022 06:11 ▲ 65 · 댓글 3 LLM 추론을 위한 '불일치 양자화', 프롬프트와 생성 단계별 최적화 프롬프트 처리(Prefill)와 응답 생성(Decode)은 서로 다른 양자화 방식을 요구한다: Prefill은 저정밀 계산으로 빠른 처리가 필요하고, Decode는 컴팩트한 가중치로 메모리 대역폭을 줄이는 것이 중요하다. AI · 머신러닝 · Disaggregated Quantization: Specializing LLM Prefill and Decode
Key Point LLM 추론의 Prefill과 Decode 두 단계에 서로 다른 양자화 전략을 적용해 정확도 손실 없이 처리 속도(첫 토큰까지 1.78배 단축)와 메모리 효율을 동시에 개선하는 방법론이 공개됐다.
핵심 요약
프롬프트 처리(Prefill)와 응답 생성(Decode)은 서로 다른 양자화 방식을 요구한다: Prefill은 저정밀 계산으로 빠른 처리가 필요하고, Decode는 컴팩트한 가중치로 메모리 대역폭을 줄이는 것이 중요하다. 연구진은 '불일치 양자화'(Disaggregated Quantization, DQ)를 제안했으며, 이는 두 단계별로 계산 형식·가중치·저장소 배치를 특화시킨다. Qwen 3과 Gemma 3에서 Decode 단계의 활성화 양자화를 제거하면 생성 작업의 정확성이 향상되고 추론 비용은 증가하지 않는다. 전체 요약 8문장 읽기 → 023 22:45 당일 +166 C++로 만든 이미지 생성 엔진, Flux·Qwen 등 최신 모델까지 지원 stable-diffusion.cpp는 GGML 기반의 순수 C/C++ 구현으로 Stable Diffusion, Flux, Wan, Qwen Image 등 다양한 이미지·영상 생성 모델을 추론할 수 있는 경량 프레임워크다. AI · 머신러닝 · leejet/stable-diffusion.cpp · C++
Key Point 로컬 머신에서 최신 이미지·영상 생성 모델을 실행할 수 있는 경량 C++ 구현이 빠르게 성장하고 있으며, 모델 추가 속도가 빠르므로 개인 또는 온프레미스 AI 구축을 고려하는 개발자에게 선택지가 되고 있다.
핵심 요약
stable-diffusion.cpp는 GGML 기반의 순수 C/C++ 구현으로 Stable Diffusion, Flux, Wan, Qwen Image 등 다양한 이미지·영상 생성 모델을 추론할 수 있는 경량 프레임워크다. 외부 의존성이 없으며, 모델 무게 형식으로 PyTorch 체크포인트(.ckpt, .pth, .pt), Safetensors, GGUF를 지원하고 가중치를 .gguf나 .safetensors로 변환할 수 있다. CPU(AVX, AVX2, AVX512), CUDA, Vulkan, Metal, OpenCL, SYCL 백엔드를 지원하며 Linux, macOS, Windows, Android(Termux)에서 실행된다. 전체 요약 7문장 읽기 → 024 21:10 ▲ 100 · 댓글 38 Qwen 3.8 27B 최적화 모델, 13.1GB VRAM에서 99.63% 성능 ByteShape가 Qwen 3.8 27B의 GGUF 양자화 모델 'ShapeLearn'을 공개했다. AI · 머신러닝 · Shapelearn Qwen 3.8 27B (13.1 GB VRAM)
Key Point 로컬에서 대규모 언어 모델을 최소 메모리로 효율적으로 운영하려는 개발자들에게 실질적인 선택지를 제시하는 벤치마크 기준을 제공한다.
핵심 요약
ByteShape가 Qwen 3.8 27B의 GGUF 양자화 모델 'ShapeLearn'을 공개했다. GPU-5(IQ4_XS, 3.84bpw)는 13.1GB VRAM에서 BF16 기준 99.63% 정확도를 유지하며 90.4 토큰/초의 속도를 낸다. 메모리가 제한적이면 GPU-4(IQ3_S, 11.0GB)를 추천하며, 이는 98.72% 성능을 내면서 더 빠르다. 전체 요약 5문장 읽기 → 025 21:11 당일 +125 당신의 하드웨어에 맞는 LLM 찾아주는 도구 llmfit Rust 기반 터미널 도구로, CPU·메모리·GPU·VRAM을 자동 감지해 실행 가능한 오픈소스 LLM 모델을 추천한다. AI · 머신러닝 · AlexsJones/llmfit · Rust
Key Point 로컬에서 LLM을 실행하려는 개발자들이 자신의 하드웨어 사양에 정확히 맞는 모델을 찾기 어려운 문제를 직접 해결해주는 도구이기 때문이다.
핵심 요약
Rust 기반 터미널 도구로, CPU·메모리·GPU·VRAM을 자동 감지해 실행 가능한 오픈소스 LLM 모델을 추천한다. GGUF·AWQ·GPTQ·EXL2 등 다양한 양자화 포맷을 지원하며 메모리 사용량과 토큰 속도를 예측한다. 인터랙티브 TUI, 웹 대시보드, REST API 엔드포인트 중 선택해 사용할 수 있다. 전체 요약 5문장 읽기 →