쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
8건 · "모델 압축"조건 지우기 ×
001▲ 21 · 댓글 5가중치 0.05% 삭제하는 것만으로 LLM 파인튜닝과 동급 성능트랜스포머 블록의 게이트 프로젝션에서 가중치의 0.05% 미만을 0으로 만드는 방식(Deletion Tuning)으로 전체 모델 파인튜닝(FFT)과 동등한 성능을 달성했다.AI · 머신러닝 · The Surprising Effectiveness of Deleting Weights in LLM Post-Training

Key Point매우 적은 수의 가중치만 제거해도 전체 파인튜닝 수준의 성능을 낼 수 있다는 발견은 LLM 적응 학습의 효율성을 크게 개선하며, 특히 지속적인 학습에서 이전 성능 유지와 모델 크기 최소화 사이의 오래된 문제를 동시에 해결한다.
핵심 요약
- 트랜스포머 블록의 게이트 프로젝션에서 가중치의 0.05% 미만을 0으로 만드는 방식(Deletion Tuning)으로 전체 모델 파인튜닝(FFT)과 동등한 성능을 달성했다.
- 강화학습 기반 보상, 감독형 파인튜닝, 온폴리시 증류 등 세 가지 LLM 포스트트레이닝 방식 모두에서 FFT와 같은 수준의 학습 결과를 얻었다.
- 학습된 마스크는 대응하는 FFT 체크포인트보다 수백 배에서 수천 배 작으며, 연속 학습에서 중요한 과제인 이전 작업 망각을 크게 줄인다.
전체 요약 5문장 읽기 → 002▲ 36 · 댓글 3LLM 에이전트를 효율적으로 경량화하는 SteerDistill 기법저비트 양자화는 LLM 에이전트의 추론 비용을 줄이지만 작업 성공률이 떨어지는 문제가 있다.AI · 머신러닝 · SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering

Key PointLLM 에이전트의 양자화는 추론 비용 절감에 필수적인데, SteerDistill은 기존 방식의 한계를 극복하고 거의 전정밀도 수준의 성능을 유지하면서도 학습 효율을 크게 높인다.
핵심 요약
- 저비트 양자화는 LLM 에이전트의 추론 비용을 줄이지만 작업 성공률이 떨어지는 문제가 있다.
- 양자화된 에이전트는 작업 요구사항이나 환경 조건을 간과해 실패하며, 성공한 전정밀도 모델과 다른 행동을 보인다.
- 기존 방식은 오프라인 데이터로 학생 모델의 실패 상황을 놓치거나, 자체 실행에서 올바른 응답이 부족하다는 한계가 있다.
전체 요약 8문장 읽기 → 003▲ 30 · 댓글 2대규모 모델도 11배 빠르게 양자화하는 MACaQ 기법Weight-activation 양자화는 신경망 추론의 메모리와 계산 비용을 줄일 수 있지만, 기존 방식들은 비용이 많이 드는 최적화와 아키텍처별 복잡한 변환을 거쳐야 했다.AI · 머신러닝 · MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

Key Point대규모 모델 양자화의 병목인 오버헤드와 시간을 획기적으로 줄이면서 다양한 아키텍처에 공통 적용 가능해, 효율적인 모델 배포에 실질적 영향을 줄 수 있는 기술이다.
핵심 요약
- Weight-activation 양자화는 신경망 추론의 메모리와 계산 비용을 줄일 수 있지만, 기존 방식들은 비용이 많이 드는 최적화와 아키텍처별 복잡한 변환을 거쳐야 했다.
- MACaQ는 MXFP4 W4A4 포스트트레이닝 양자화 방법으로, 각 선형 계층을 독립적으로 처리한다.
- 채널별 스케일과 블록-하다마드 변환을 각 계층의 활성화에 온라인으로 적용하고, 역변환을 가중치에 흡수시켜 계층 간 의존성을 제거한다.
전체 요약 8문장 읽기 → 004▲ 23 · 댓글 2확산 모델의 단계별·작업별 양자화로 정확도 6.7%p 향상확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다.AI · 머신러닝 · Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models

Key Point확산 모델의 양자화 시 노이즈 제거 과정의 어느 단계에서 어느 정도의 정밀도가 필요한지를 체계적으로 파악할 수 있게 되어, 모델 압축 효율과 정확도 사이의 균형을 개선할 수 있다.
핵심 요약
- 확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다.
- 연구팀은 양자화 민감도가 작업과 타이밍 두 가지에 의존하며, 각 작업마다 노이즈 제거 단계별로 필요한 정밀도가 다름을 밝혔다.
- 이러한 패턴은 정답 레이블이나 작업별 평가 지표 없이도 예측 가능함을 보였다.
전체 요약 5문장 읽기 → 005당일 +1,00170B 대형언어모델을 4GB GPU에서 돌리는 AirLLMAirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다.AI · 머신러닝 · lyogavin/airllm · Jupyter Notebook

Key Point소형 GPU로도 대규모 언어모델을 직접 구동할 수 있게 되면서 개인 개발자나 제한된 리소스 환경에서 최신 모델 실험이 가능해진다.
핵심 요약
- AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다.
- 한 번에 한 레이어만 GPU에 유지하는 방식으로 메모리 사용량을 최소화하며, Kimi K3(2.8T)는 3.72GB, DeepSeek-V3(671B)는 약 12GB, Qwen3.8-Flash-Next(125B)는 6GB에서 실행된다.
- 최신 버전(v3.0)은 FP8 모델을 지원하고, Llama·Qwen·DeepSeek·Phi·Gemma 등 대부분의 주요 오픈소스 LLM을 AutoModel을 통해 자동으로 감지해 지원한다.
전체 요약 11문장 읽기 → 006▲ 12 · 댓글 2비전 토큰 50% 줄이고 성능 99.5% 유지하는 압축 기법Vision-language 모델은 강력하지만 비전 토큰이 입력 시퀀스의 대부분을 차지해 계산 비용이 크다는 문제가 있다.AI · 머신러닝 · V-CoLA: Vision Token Compression with Linear Attention

Key Point선형 어텐션 기반 비전-언어 모델에서 기존 압축 방법이 작동하지 않는 문제를 해결하는 새로운 접근법으로, 실무 배포 시 추론 속도와 메모리 효율을 크게 개선할 수 있다.
핵심 요약
- Vision-language 모델은 강력하지만 비전 토큰이 입력 시퀀스의 대부분을 차지해 계산 비용이 크다는 문제가 있다.
- 선형 어텐션을 활용한 하이브리드 아키텍처(예: Qwen3.5)가 등장하면서 기존 소프트맥스 기반 압축 방법들이 성능 저하를 보인다.
- 연구팀은 선형 어텐션에 특화된 훈련 불필요 토큰 압축 프레임워크 V-CoLA를 제안했다.
전체 요약 7문장 읽기 → 007▲ 29 · 댓글 2생성 시점의 활성화에 맞춘 LLM 가지치기로 디코딩 가속LLM 디코딩 단계는 메모리 대역폭이 성능 병목이 되는데, Hessian 기반 가지치기로 읽는 파라미터 수를 줄여 지연 시간을 개선할 수 있다.AI · 머신러닝 · SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference

Key Point디코딩 단계의 실제 토큰 생성 환경과 가지치기 과정의 불일치를 해결하면서 SpMV 연산에 최적화된 커널까지 제공해, LLM 추론 속도 개선에 직접적으로 적용 가능한 실무적 해법을 제시한다.
핵심 요약
- LLM 디코딩 단계는 메모리 대역폭이 성능 병목이 되는데, Hessian 기반 가지치기로 읽는 파라미터 수를 줄여 지연 시간을 개선할 수 있다.
- 기존 방법들은 자연 텍스트에서 계산한 Hessian으로 모델을 가지치기하지만, 실제 디코딩 중에는 모델이 자체 생성 토큰을 처리하면서 분포 차이(distribution shift)가 발생한다.
- 이로 인해 생성 시 활성화 분포가 가지치기 시 사용된 분포에서 벗어나 모델 성능이 저하되는 문제가 있다.
전체 요약 7문장 읽기 → 008당일 +158무게 9분의 1, 성능 98% 유지하는 경량 언어모델 Bonsai 2 공개PrismML이 극도로 압축한 언어모델 Bonsai 2 27B를 공개했으며, 5.9GB 크기로 노트북이나 단일 GPU에서 구동된다.AI · 머신러닝 · PrismML-Eng/Bonsai-demo · Shell

Key Point극도로 경량화한 27B급 언어모델이 고성능을 유지하면서 개발자 기계에서 직접 실행 가능해지면서, 모델 압축 기술의 실용적 한계를 넓혔다.
핵심 요약
- PrismML이 극도로 압축한 언어모델 Bonsai 2 27B를 공개했으며, 5.9GB 크기로 노트북이나 단일 GPU에서 구동된다.
- FP16 대비 98.2% 수준의 성능을 유지하면서 원본의 약 9분의 1 크기를 달성했고, 수학은 반올림 수준의 정확도, 코딩은 기준 모델과 동일 수준이다.
- 3중 값(ternary) 가중치 기반이며 262K 토큰 콘텍스트, 비전 기능, OpenAI 방식의 도구 호출, 추론 기능을 지원한다.
전체 요약 6문장 읽기 →