쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
7건 · "가지치기"조건 지우기 ×
001 21:12 ▲ 23 · 댓글 2 신경망 가중치를 이산 결정 경로로 표현하는 TWIG 제안 신경망의 모든 가중치를 트리 구조의 작은 이산 결정(부호, 2의 거듭제곱 시프트, 게이트, 테이블 인덱스)의 경로 끝으로 표현하는 TWIG(Tree-structured Weights with Inherited Gates)를 제안했다. AI · 머신러닝 · Every Weight Is a Path of Shared Discrete Decisions
Key Point 신경망 가중치 압축 방식을 통합하는 새로운 표현이 기존 양자화 방법보다 회로 비용을 크게 줄일 수 있음을 보여주기 때문이다.
핵심 요약
신경망의 모든 가중치를 트리 구조의 작은 이산 결정(부호, 2의 거듭제곱 시프트, 게이트, 테이블 인덱스)의 경로 끝으로 표현하는 TWIG(Tree-structured Weights with Inherited Gates)를 제안했다. 같은 영역에 속한 가중치들은 경로의 상위 부분을 공유하며, 각 결정은 트리 아래의 모든 가중치에 상속되어 한 번만 저장하고 적용된다. 임의의 학습된 신경망을 TWIG로 표현할 수 있으며, 2의 거듭제곱 결정을 사용할 때 가중치 계층이 거의 모두 선(wire)과 가산기로 이루어진 회로가 되어 고정 가중치 칩에 적합하다. 전체 요약 7문장 읽기 → 002 18:11 ▲ 37 · 댓글 4 LLM 에이전트, 학습 데이터를 자동으로 개선하는 시스템 언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다. AI · 머신러닝 · AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
Key Point 자동화된 데이터 개선이 단일 기능 강화가 아니라 다각적 접근에 달려 있다는 점을 보여주며, 실제 개선 수치(IFEval +6.5~+9.9)로 멀티에이전트 방식의 실질적 효과를 입증한다.
핵심 요약
언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다. 연구팀은 인간 데이터 엔지니어처럼 비율 조정, 가지치기, 수리, 교체, 합성 등 다양한 데이터 조작 기능을 수행할 수 있는 에이전트 시스템을 설계했다. 단일 에이전트 방식은 비율 조정 하나의 행동만 반복하며 컨텍스트를 낭비해 성능이 개선되지 않았다. 전체 요약 7문장 읽기 → 003 21:11 당일 +1,001 70B 대형언어모델을 4GB GPU에서 돌리는 AirLLM AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. AI · 머신러닝 · lyogavin/airllm · Jupyter Notebook
Key Point 소형 GPU로도 대규모 언어모델을 직접 구동할 수 있게 되면서 개인 개발자나 제한된 리소스 환경에서 최신 모델 실험이 가능해진다.
핵심 요약
AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. 한 번에 한 레이어만 GPU에 유지하는 방식으로 메모리 사용량을 최소화하며, Kimi K3(2.8T)는 3.72GB, DeepSeek-V3(671B)는 약 12GB, Qwen3.8-Flash-Next(125B)는 6GB에서 실행된다. 최신 버전(v3.0)은 FP8 모델을 지원하고, Llama·Qwen·DeepSeek·Phi·Gemma 등 대부분의 주요 오픈소스 LLM을 AutoModel을 통해 자동으로 감지해 지원한다. 전체 요약 11문장 읽기 → 004 12:11 ▲ 29 · 댓글 2 생성 시점의 활성화에 맞춘 LLM 가지치기로 디코딩 가속 LLM 디코딩 단계는 메모리 대역폭이 성능 병목이 되는데, Hessian 기반 가지치기로 읽는 파라미터 수를 줄여 지연 시간을 개선할 수 있다. AI · 머신러닝 · SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
Key Point 디코딩 단계의 실제 토큰 생성 환경과 가지치기 과정의 불일치를 해결하면서 SpMV 연산에 최적화된 커널까지 제공해, LLM 추론 속도 개선에 직접적으로 적용 가능한 실무적 해법을 제시한다.
핵심 요약
LLM 디코딩 단계는 메모리 대역폭이 성능 병목이 되는데, Hessian 기반 가지치기로 읽는 파라미터 수를 줄여 지연 시간을 개선할 수 있다. 기존 방법들은 자연 텍스트에서 계산한 Hessian으로 모델을 가지치기하지만, 실제 디코딩 중에는 모델이 자체 생성 토큰을 처리하면서 분포 차이(distribution shift)가 발생한다. 이로 인해 생성 시 활성화 분포가 가지치기 시 사용된 분포에서 벗어나 모델 성능이 저하되는 문제가 있다. 전체 요약 7문장 읽기 → 005 18:30 ▲ 13 · 댓글 4 MoE 모델 디코딩 성능 2배 근처로 높이는 프레임워크 Mixture-of-Experts(MoE) 모델은 토큰당 소수 전문가만 활성화하지만, 배치 디코딩에서는 거의 모든 전문가에 접근해야 해 전문가 가중치 트래픽이 주요 병목이 된다. AI · 머신러닝 · SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving
Key Point MoE 모델의 디코딩 병목을 해결하는 새로운 방식으로 정확도 손실을 최소화하면서 처리량을 획기적으로 높일 수 있다는 점이 중요하다.
핵심 요약
Mixture-of-Experts(MoE) 모델은 토큰당 소수 전문가만 활성화하지만, 배치 디코딩에서는 거의 모든 전문가에 접근해야 해 전문가 가중치 트래픽이 주요 병목이 된다. 기존 전문가 가지치기(pruning)는 계산이 필요한 prefill 단계도 함께 가지쳐 모델 품질 저하에 비해 처리량 향상이 미미하다. SlimWise는 추론 각 단계별로 전문가 풀을 다르게 구성하는 서빙 프레임워크로, prefill은 전체 모델로 수행하고 decode는 가지친 모델을 사용한다. 전체 요약 6문장 읽기 → 006 15:11 ▲ 16 · 댓글 1 멀티모달 LLM의 비전 토큰 처리를 MLP로 경량화 멀티모달 대형 언어 모델(MLLM)에서 긴 시각 토큰 시퀀스의 계산 비용을 줄이는 것이 핵심 과제이다. AI · 머신러닝 · Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
Key Point 멀티모달 LLM의 추론 속도 병목인 시각 처리를 경량화하면서 정보 손실 없이 정확도를 유지하는 새로운 접근법이 기존 토큰 제거 방식의 한계를 극복한다.
핵심 요약
멀티모달 대형 언어 모델(MLLM)에서 긴 시각 토큰 시퀀스의 계산 비용을 줄이는 것이 핵심 과제이다. 기존 방법은 불필요한 시각 토큰을 제거하는 토큰 가지치기(pruning)를 사용하지만, 이후 층에서 유용할 수 있는 시각 정보를 영구적으로 버린다. 연구진은 저랭크 개입 분석을 통해 시각-텍스트 정보 흐름을 차단한 후 몇 가지 방향만 복구해도 대부분의 정확도가 회복됨을 발견했다. 전체 요약 8문장 읽기 → 007 22:45 당일 +276 NVIDIA Model Optimizer, 양자화·가지치기·증류 등 최적화 기법 통합 라이브러리 오픈소스화 NVIDIA Model Optimizer는 양자화, 가지치기(pruning), 신경망 구조 탐색(NAS), 증류, 추측 디코딩, 희소성 등 최신 모델 최적화 기법을 통합한 라이브러리다. AI · 머신러닝 · NVIDIA/Model-Optimizer · Python
Key Point DL 인퍼런스 배포 시 성능과 메모리 효율을 동시에 높이려는 개발자들에게 양자화, 가지치기, 증류 등을 통합 관리할 수 있는 공식 도구가 생겼고, 오픈소스로 누구나 기여 가능해졌다.
핵심 요약
NVIDIA Model Optimizer는 양자화, 가지치기(pruning), 신경망 구조 탐색(NAS), 증류, 추측 디코딩, 희소성 등 최신 모델 최적화 기법을 통합한 라이브러리다. Hugging Face, PyTorch, ONNX 모델을 입력받아 Python API로 최적화 기법들을 조합해 적용하고, 최적화된 양자화 체크포인트를 생성한다. 생성된 체크포인트는 TensorRT-LLM, vLLM, SGLang 등 인퍼런스 프레임워크에 바로 배포 가능하며, Megatron-Bridge 및 Hugging Face Accelerate와 통합돼 있다. 전체 요약 12문장 읽기 → 
