쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
13건 · "오픈소스 LLM"조건 지우기 ×
001 12:11 새 버전 Ollama v0.40.13, LFM3 모델 리눅스·윈도우 지원 Ollama v0.40.13이 릴리스되었다. 오픈소스 · 도구 · ollama/ollama@v0.40.13
Key Point 로컬에서 LFM3 모델을 사용할 수 있는 환경이 크게 확대되었으므로, 오픈소스 LLM 활용 범위가 넓어졌다.
핵심 요약
Ollama v0.40.13이 릴리스되었다. Liquid AI의 LFM3 모델이 리눅스와 윈도우에서 실행 가능해졌다. lfm3-audio와 lfm3-omni 모델은 음성 합성(text-to-speech) 기능을 포함한다. 전체 요약 4문장 읽기 → 002 18:11 ▲ 13 · 댓글 7 작은 오픈소스 모델, 실제 코딩 업무에 얼마나 써먹을까 벤치마크 점수가 높은 오픈 가중치 모델도 실제 코딩 작업에서는 텍스트 생성과 실행 가능한 코드 생성이 별개 문제임을 보여주는 경험 보고서다. AI · 머신러닝 · Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done?
Key Point 오픈소스 코딩 모델의 실전 성능은 벤치마크와 크게 다르며, 직접 호출과 에이전트 위임 간 성공률 격차가 큼을 실측 데이터로 보여준다.
핵심 요약
벤치마크 점수가 높은 오픈 가중치 모델도 실제 코딩 작업에서는 텍스트 생성과 실행 가능한 코드 생성이 별개 문제임을 보여주는 경험 보고서다. 저자가 2026년 7월부터 10월까지 수행한 엔지니어링 작업을 기반으로, vLLM, SGLang, llama.cpp, MLX 등 여러 모델 서빙 환경에서 같은 엔드포인트로 표시되는 모델들도 도구 호출 형식, 턴 제어, 컨텍스트 동작, 캐시 재사용, 신뢰성 면에서 차이를 보임을 기록했다. 4,165개의 코딩 에이전트 게이트웨이 턴, 623개의 디버그 작업, 고정된 Claude Opus 5.5 부모 모델과 숨겨진 동작 검증을 포함한 3개 위임 연구가 증거다. 전체 요약 10문장 읽기 → 003 09:11 당일 +108 LLM 추론 최적화 라이브러리 vLLM, 200+ 모델 지원 vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다. AI · 머신러닝 · vllm-project/vllm · Python
Key Point LLM 서빙 성능이 중요해지면서 vLLM 같은 최적화된 추론 엔진의 역할이 커지고 있으며, 광범위한 모델 지원과 하드웨어 호환성이 프로덕션 배포의 실질적 선택지를 제공한다.
핵심 요약
vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다. PagedAttention을 통해 메모리를 효율적으로 관리하고 연속 배칭, 청크 프리필, 프리픽스 캐싱으로 높은 처리량을 제공한다. FP8, INT4, GPTQ/AWQ, GGUF 등 다양한 양자화 방식과 FlashAttention, FlashInfer 같은 최적화 커널을 지원한다. 전체 요약 8문장 읽기 → 004 06:11 ▲ 146 · 댓글 136 OpenAI·Anthropic 대신 오픈소스 LLM 써야 하는 이유 OpenAI와 Anthropic이 지배하는 폐쇄형 LLM 모델은 개인정보 보호, 자유도, 민주성 측면에서 문제가 있다고 주장한다. AI · 머신러닝 · Just say no to OpenAI and Anthropic
Key Point OpenAI와 Anthropic에 의존하면 데이터 통제력을 잃고 모델 접근 권한을 기업에 좌우당하는데, 이제 성능이 비슷한 오픈 웨이트 모델과 프라이빗 추론 서비스로 독립적 선택이 가능해졌다.
핵심 요약
OpenAI와 Anthropic이 지배하는 폐쇄형 LLM 모델은 개인정보 보호, 자유도, 민주성 측면에서 문제가 있다고 주장한다. GLM-5.3, DeepSeek, Qwen 같은 오픈 웨이트 모델들은 ChatGPT와 Claude에 필적하거나 비슷한 성능을 내며, 약 4개월 정도만 뒤떨어져 있다. ChatGPT와 Claude는 폐쇄형 모델이며 사용자 세션 데이터에 대한 접근을 완전히 통제하고, 사용자가 훈련 데이터 사용을 거부해도 데이터 자체에는 접근 가능하다. 전체 요약 11문장 읽기 → 005 21:11 당일 +1,001 70B 대형언어모델을 4GB GPU에서 돌리는 AirLLM AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. AI · 머신러닝 · lyogavin/airllm · Jupyter Notebook
Key Point 소형 GPU로도 대규모 언어모델을 직접 구동할 수 있게 되면서 개인 개발자나 제한된 리소스 환경에서 최신 모델 실험이 가능해진다.
핵심 요약
AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. 한 번에 한 레이어만 GPU에 유지하는 방식으로 메모리 사용량을 최소화하며, Kimi K3(2.8T)는 3.72GB, DeepSeek-V3(671B)는 약 12GB, Qwen3.8-Flash-Next(125B)는 6GB에서 실행된다. 최신 버전(v3.0)은 FP8 모델을 지원하고, Llama·Qwen·DeepSeek·Phi·Gemma 등 대부분의 주요 오픈소스 LLM을 AutoModel을 통해 자동으로 감지해 지원한다. 전체 요약 11문장 읽기 → 006 21:11 ▲ 29 · 댓글 2 LLM으로 상품 검색 정확도 높이는 카탈로그 최적화 기법 소규모 온라인 상점들은 전체 카탈로그를 LLM의 장문맥 윈도우에 집어넣는 방식을 사용할 수 있으나, 단순히 포함시키는 것만으로는 모델이 정보를 효과적으로 활용하지 못한다. AI · 머신러닝 · RPTune: Learned Context Curation for LLM Catalog Search
Key Point 소규모 상점의 상품 검색 정확도를 대폭 높일 수 있는 실용적 기법이며, 장문맥 LLM을 실제 전자상거래에 활용하는 방식을 제시한다.
핵심 요약
소규모 온라인 상점들은 전체 카탈로그를 LLM의 장문맥 윈도우에 집어넣는 방식을 사용할 수 있으나, 단순히 포함시키는 것만으로는 모델이 정보를 효과적으로 활용하지 못한다. RPTune은 카탈로그 구성 방식을 학습하고 LLM을 미세조정하는 통합 프레임워크로, 자동 생성된 카탈로그 기반 감독 신호를 사용한다. 인코더-재정렬기 큐레이터가 다운스트림 LLM 피드백에 따라 상품을 순서대로 정렬하고 불필요한 항목을 제거한다. 전체 요약 6문장 읽기 → 007 00:10 ▲ 102 · 댓글 23 PyTorch로 직접 구현한 최신 LLM 아키텍처 학습 저장소 최신 오픈소스 LLM들의 PyTorch 구현을 처음부터 손으로 직접 작성한 저장소로, 각 모델은 원논문과 기술 보고서를 참고해 구성했다. AI · 머신러닝 · OpenArch – PyTorch implementations of modern LLM architectures
Key Point LLM 아키텍처의 세부 설계 차이를 명확히 읽고 비교하고 싶은 개발자라면, 프로덕션 코드의 복잡성 없이 각 선택지가 어떻게 구현되는지 바로 확인할 수 있다.
핵심 요약
최신 오픈소스 LLM들의 PyTorch 구현을 처음부터 손으로 직접 작성한 저장소로, 각 모델은 원논문과 기술 보고서를 참고해 구성했다. GPT-2, Llama 2/3/4, Qwen, Mistral, DeepSeek R1 등 11개 텍스트 모델과 PaliGemma, Qwen3 등 멀티모달 모델을 구현 중이며, 추가로 72개 아키텍처 전체 구현을 목표로 한다. 주의 메커니즘(MHA, GQA, MQA, MLA), 정규화(RMSNorm, QK-Norm), 위치 인코딩(RoPE, NoPE), MoE 라우팅 등 현대 LLM들이 사용하는 구조적 선택지를 명시적으로 표현해 비교하기 쉽게 했다. 전체 요약 5문장 읽기 → 008 21:11 당일 +125 당신의 하드웨어에 맞는 LLM 찾아주는 도구 llmfit Rust 기반 터미널 도구로, CPU·메모리·GPU·VRAM을 자동 감지해 실행 가능한 오픈소스 LLM 모델을 추천한다. AI · 머신러닝 · AlexsJones/llmfit · Rust
Key Point 로컬에서 LLM을 실행하려는 개발자들이 자신의 하드웨어 사양에 정확히 맞는 모델을 찾기 어려운 문제를 직접 해결해주는 도구이기 때문이다.
핵심 요약
Rust 기반 터미널 도구로, CPU·메모리·GPU·VRAM을 자동 감지해 실행 가능한 오픈소스 LLM 모델을 추천한다. GGUF·AWQ·GPTQ·EXL2 등 다양한 양자화 포맷을 지원하며 메모리 사용량과 토큰 속도를 예측한다. 인터랙티브 TUI, 웹 대시보드, REST API 엔드포인트 중 선택해 사용할 수 있다. 전체 요약 5문장 읽기 → 009 11:10 당일 +134 Ollama, 오픈소스 LLM 로컬 실행 플랫폼 Ollama는 Kimi-K2.6, GLM-5.2, DeepSeek, Qwen, Gemma 등 다양한 오픈소스 모델을 로컬에서 실행할 수 있는 플랫폼이다. AI · 머신러닝 · ollama/ollama · Go
Key Point 개발 팀이 LLM을 클라우드 종속 없이 로컬에서 운영하고 싶을 때 실용적인 선택지가 필요하기 때문이다.
핵심 요약
Ollama는 Kimi-K2.6, GLM-5.2, DeepSeek, Qwen, Gemma 등 다양한 오픈소스 모델을 로컬에서 실행할 수 있는 플랫폼이다. macOS, Windows, Linux 데스크톱은 물론 Docker로도 제공되며, Python과 JavaScript 라이브러리를 통해 기존 애플리케이션에 통합할 수 있다. Claude Code, Codex, Copilot CLI 등 다양한 코딩 IDE와 통합 지원하고, OpenClaw를 통해 WhatsApp, Telegram, Slack, Discord 등 메신저 앱과 연동 가능하다. 전체 요약 5문장 읽기 → 010 11:10 당일 +124 텐센트의 오픈소스 LLM 지식 플랫폼 'WeKnora' 공개 문서를 RAG 기반 Q&A, 자율 추론 에이전트, 자동 유지 위키로 변환하는 엔터프라이즈급 지식 프레임워크다. AI · 머신러닝 · Tencent/WeKnora · Go
Key Point 문서 기반 정보 검색과 활용 방식을 근본적으로 바꾸는 오픈소스 플랫폼으로, 한국 기업들의 지식 관리 자동화와 데이터 주권 보호에 직결된 기술이다.
핵심 요약
문서를 RAG 기반 Q&A, 자율 추론 에이전트, 자동 유지 위키로 변환하는 엔터프라이즈급 지식 프레임워크다. ReAct 에이전트가 검색·MCP 도구·웹 검색을 자동 조합하고, Wiki 모드에서 문서를 상호연결된 마크다운 지식베이스로 정제한다. PDF·Word·이미지·Excel·XMind 등 10+ 포맷 지원하고, Feishu·GitLab·Notion·Slack·Telegram 등 20+ 데이터 소스 및 LLM 제공자와 통합된다. 전체 요약 5문장 읽기 → 011 08:12 당일 +1,117 자신의 모델을 소유하면서 비용을 절감하는 오픈소스 LLM 게이트웨이 Experiential은 OpenAI 호환 API 하나로 자체 호스팅, BYOK, 1000개 이상의 마켓플레이스 모델을 통합 관리하는 오픈소스 게이트웨이다. AI · 머신러닝 · experientiallabs/experiential · Python
Key Point 프로덕션 트래픽 데이터로 자신이 소유한 모델을 최적화하면서도 OpenAI 호환 인터페이스로 기존 도구와 호환되어, LLM 비용 관리와 성능 개선을 동시에 달성할 수 있다.
핵심 요약
Experiential은 OpenAI 호환 API 하나로 자체 호스팅, BYOK, 1000개 이상의 마켓플레이스 모델을 통합 관리하는 오픈소스 게이트웨이다. 사용자와 에이전트별로 어떤 모델을 사용할 수 있는지, 각 용도별 지출 한도를 제어할 수 있다. 프로덕션 트래픽으로부터 OpenTelemetry 추적을 수집하고 이를 통해 커스텀 라우터를 학습시켜 품질, 속도, 비용을 최적화한다. 전체 요약 5문장 읽기 → 012 00:10 ▲ 17 · 댓글 1 알리바바, Qwen3.8-27B 공개제목 기반 알리바바가 Qwen3.8-27B 모델을 공개했다. AI · 머신러닝 · Qwen3.8-27B
Key Point Hacker News에서 17포인트를 얻으며 오픈소스 LLM 커뮤니티에서 주목받고 있다.
핵심 요약
알리바바가 Qwen3.8-27B 모델을 공개했다. 이는 278억 파라미터 규모의 언어 모델이다. 구체적인 성능 및 특징은 공식 발표를 통해 확인할 수 있다. 본문을 가져오지 못해 제목과 인기 지표로 요약했습니다. 실제 내용과 다를 수 있으니 원문을 확인해 주세요.
013 20:31 ▲ 643 · 댓글 151 알리바바 Qwen3.8 공개, 2.4T 규모 오픈소스 LLM 알리바바가 Qwen 시리즈 중 가장 강력한 모델인 Qwen3.8을 공개했으며, 2.4T 매개변수 중 95B가 활성화되는 혼합 전문가(MoE) 구조로 설계됐다. AI · 머신러닝 · Qwen3.8-2.4T
Key Point Qwen-Max급 오픈 모델의 첫 공개로, 개발 커뮤니티에서 높은 관심을 받으며 코딩과 에이전트 작업 성능을 주목하고 있다.
핵심 요약
알리바바가 Qwen 시리즈 중 가장 강력한 모델인 Qwen3.8을 공개했으며, 2.4T 매개변수 중 95B가 활성화되는 혼합 전문가(MoE) 구조로 설계됐다. 코딩, 전문 작업, 연구, 장기 에이전트 작업 전반에서 상당한 성능 향상을 제공하며, 복잡한 다단계 작업 완료 신뢰성이 강화됐다. 최대 1,010,000 토큰까지 확장 가능한 맥락 길이와 추론 깊이를 조절할 수 있는 유연한 사고 제어 기능을 지원한다. 
