쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
32건 · "추론 최적화"조건 지우기 ×
001 21:11 ▲ 18 · 댓글 4 LLM 에이전트 처리, 도구 응답 대기를 고려한 스케줄링으로 성능 향상 LLM 기반 에이전트 서빙은 GPU 클러스터에서의 모델 추론과 분산된 CPU의 외부 도구 실행을 반복하며 진행된다. AI · 머신러닝 · TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
Key Point LLM 에이전트의 성능 병목이 어디에 있는지, 그리고 도구 응답 준비 상태를 고려한 스케줄링이 왜 기존 방식보다 효과적인지를 보여주는 구체적인 개선 수치를 제시한다.
핵심 요약
LLM 기반 에이전트 서빙은 GPU 클러스터에서의 모델 추론과 분산된 CPU의 외부 도구 실행을 반복하며 진행된다. 기존 시스템들은 외부 도구의 응답 준비 상태를 성능 평가에 반영하지 않아 자원을 낭비하고, 휴리스틱 전략으로 GPU 준입과 배치를 결정해 스케줄링 최적화가 부족했다. TAO는 도구 응답 준비 상태, 노드별 캐시 크레딧(시간 감쇠 적용), 토큰 차지 공간을 결합한 가치 인터페이스를 제공한다. 전체 요약 5문장 읽기 → 002 00:11 ▲ 21 · 댓글 2 추측 샘플링과 확산 모델의 속도-품질 트레이드오프 분석 추측 디코딩(Speculative Decoding)은 빠르지만 품질이 낮은 초안 모델에서 샘플링해 LLM 추론 속도를 높이는 기법으로, 전통적으로는 검증자 분포 대비 손실 없이 속도 향상을 보장한다. AI · 머신러닝 · Speculative Diffusion is a Tale of Two Tradeoffs
Key Point LLM 추론 성능을 높이는 두 가지 기술(추측 디코딩과 확산 모델)의 트레이드오프를 체계적으로 분석함으로써 최적 조합 방식을 제시한다.
핵심 요약
추측 디코딩(Speculative Decoding)은 빠르지만 품질이 낮은 초안 모델에서 샘플링해 LLM 추론 속도를 높이는 기법으로, 전통적으로는 검증자 분포 대비 손실 없이 속도 향상을 보장한다. 최근 개발된 확산 LLM(dLLM)은 더 적은 확산 스텝으로 출력 품질을 떨어뜨려도 대폭의 속도 향상을 달성할 수 있다는 점에서 다르다. 확산 모델은 토큰을 병렬로 생성하기 때문에 자회귀 모델보다 빠르게 샘플링할 수 있어, 추측 디코딩의 초안 모델로 유망하다. 전체 요약 6문장 읽기 → 003 18:11 ▲ 149 · 댓글 53 세레브라스, 3조개 파라미터 모델을 59개 웨이퍼에 분산 배포 세레브라스 WSE-3T 웨이퍼 하나는 44GB의 온칩 메모리를 가지지만, 조 단위 모델의 가중치는 테라바이트 규모여서 여러 웨이퍼에 분산 배포해야 한다. 인프라 · 데브옵스 · Cerebras Deploys Trillion-Parameter AI Models
Key Point 대규모 언어모델 추론 인프라의 실제 배포 방식을 보여주는 기술 사례로, GPU가 아닌 웨이퍼 기반 칩에서 조 단위 모델을 어떻게 효율적으로 운영하는지 알 수 있다.
핵심 요약
세레브라스 WSE-3T 웨이퍼 하나는 44GB의 온칩 메모리를 가지지만, 조 단위 모델의 가중치는 테라바이트 규모여서 여러 웨이퍼에 분산 배포해야 한다. 3조 파라미터 규모의 공개 모델 키미 K3를 예시로, 4비트 양자화 기준 각 레이어는 약 16GB가 필요하다. 키미 K3의 경우 69개 선형 주의 레이어(각 웨이퍼당 2개씩 배치 가능)와 24개 밀집 레이어(각 웨이퍼당 1개씩, 나머지는 KV 캐시용)로 총 59개 웨이퍼가 필요하다. 전체 요약 8문장 읽기 → 004 12:10 ▲ 106 · 댓글 26 구글 제미나 모델의 추론 토큰 39% 줄이면서 성능 유지 BottleCapAI가 구글의 Gemma-4-26B-A4B 모델을 최적화한 ThinkingCap 버전을 공개했다. AI · 머신러닝 · Gemma-4-26B-A4B with 39-69% less thinking at same accuracy
Key Point 추론 단계를 줄이면서도 정확도를 유지하는 최적화 기법이 실제로 작동함을 보여주므로, LLM 배포 비용과 지연시간을 줄이려는 팀들의 실질적 선택지가 확보된다.
핵심 요약
BottleCapAI가 구글의 Gemma-4-26B-A4B 모델을 최적화한 ThinkingCap 버전을 공개했다. 추론 토큰을 평균 38.9% 줄였으며 최대 69.1%까지 감소시킨 벤치마크도 있다. 12개 벤치마크 평균 정확도는 75.18%에서 75.03%으로 0.15pp만 하락했다. 전체 요약 12문장 읽기 → 005 21:11 ▲ 22 · 댓글 7 4비트 재귀 상태 양자화로 LLM 배치 처리 메모리 절감 선형 어텐션 언어 모델은 고정 크기의 재귀 상태로 문맥을 유지하며, 추론 시스템은 동시에 복호화되는 각 시퀀스마다 상태 복사본을 저장해야 한다. AI · 머신러닝 · PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
Key Point LLM 추론 시 배치 크기를 제약하는 상태 메모리를 4비트로 양자화할 수 있다면, 같은 GPU 메모리로 더 많은 요청을 동시 처리할 수 있기 때문이다.
핵심 요약
선형 어텐션 언어 모델은 고정 크기의 재귀 상태로 문맥을 유지하며, 추론 시스템은 동시에 복호화되는 각 시퀀스마다 상태 복사본을 저장해야 한다. 상태를 낮은 정밀도로 저장하면 더 많은 시퀀스가 가속기를 공유할 수 있지만, 기존 양자화 방식은 매 토큰 생성 후 반올림하므로 4비트에서 정확도 손실이 크다. PACE는 사후 4비트 상태 양자화 기법으로, 매 토큰마다가 아니라 여러 토큰 생성 후에만 한 번 상태를 반올림하고, 그 사이 생성된 토큰을 작은 버퍼에 보관한다. 전체 요약 8문장 읽기 → 006 03:11 ▲ 12 · 댓글 2 효율적인 흐름 모델로 LLM 병렬 생성 실현 연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다. AI · 머신러닝 · Large Flow Language Models
Key Point 병렬 생성과 더 빠른 추론이 가능한 흐름 모델이 대규모 언어 모델에서 실질적으로 작동하는 것을 처음 입증했으며, 기존 자동회귀 모델보다 2.5배 빠른 처리 속도로 같은 품질을 낸다는 점이 생성 AI 구조의 근본적 전환을 시사한다.
핵심 요약
연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다. 라파(Lafa)는 80억 개 매개변수 규모의 흐름 언어 모델로, 30B 토큰 미만으로 학습되어 이전 확산 모델보다 효율적이다. 블록 단위 흐름 모델 설계로 접두사에는 인과 관계 어텐션, 각 블록 내에는 양방향 비동기 흐름을 적용한다. 전체 요약 10문장 읽기 → 007 18:11 ▲ 24 · 댓글 3 양자화와 추론으로 MoE 오프로딩 병목 해결한 Specter MoE 모델은 단일 가속기 메모리 용량을 초과하기 때문에 전문가들을 호스트 메모리로 오프로딩해야 하는데, 데이터 의존적 라우팅으로 인해 PCIe I/O 병목이 심각하다. AI · 머신러닝 · Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
Key Point 메모리 제약이 있는 환경에서 MoE 모델 추론 속도를 1.5배 이상 개선할 수 있다는 것은 대형 모델을 일반 GPU에서 실행하려는 개발자들에게 직접 영향을 미친다.
핵심 요약
MoE 모델은 단일 가속기 메모리 용량을 초과하기 때문에 전문가들을 호스트 메모리로 오프로딩해야 하는데, 데이터 의존적 라우팅으로 인해 PCIe I/O 병목이 심각하다. Specter는 양자화된 경량 드래프트 모델을 기기에서 효율적으로 실행하면서도 전문가 활성화 패턴의 충실도를 유지한다. 드래프트 모델의 다단계 예측을 통해 향후 전문가 사용을 미리 파악하고, 런타임이 검증 전에 전문가 이동과 실행을 미리 조직할 수 있다. 전체 요약 5문장 읽기 → 008 15:11 ▲ 60 · 댓글 2 로봇 AI의 행동 생성, 재활용으로 3배 빠르게 Vision-language-action (VLA) 모델은 가우시안 노이즈를 반복적으로 제거하며 행동 청크를 생성하지만, 일반적으로 짧은 접두사만 실행한 뒤 나머지 행동 꼬리(action tail)를 버리고 다시 생성한다. AI · 머신러닝 · VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse
Key Point 로봇 행동 생성 모델의 추론 속도를 대폭 개선하면서 정확도도 높이는 기법으로, 실시간 제어가 필요한 로봇 시스템의 실용성을 크게 향상시킬 수 있다.
핵심 요약
Vision-language-action (VLA) 모델은 가우시안 노이즈를 반복적으로 제거하며 행동 청크를 생성하지만, 일반적으로 짧은 접두사만 실행한 뒤 나머지 행동 꼬리(action tail)를 버리고 다시 생성한다. 연구팀은 버려진 행동 꼬리가 제거 과정의 진행 상황을 담고 있어 재활용 가능함을 발견했고, 10단계 가우시안 기준선과 동등하거나 더 나은 성능을 더 적은 제거 단계로 달성할 수 있음을 보였다. 최적 제거 예산(denoising budget)이 샘플마다 크게 달라지므로, 행동 꼬리 재활용은 업데이트된 환경에 맞게 적응해야 한다는 관찰에 따라 VLA-Rolling을 제안한다. 전체 요약 6문장 읽기 → 009 09:11 당일 +108 LLM 추론 최적화 라이브러리 vLLM, 200+ 모델 지원 vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다. AI · 머신러닝 · vllm-project/vllm · Python
Key Point LLM 서빙 성능이 중요해지면서 vLLM 같은 최적화된 추론 엔진의 역할이 커지고 있으며, 광범위한 모델 지원과 하드웨어 호환성이 프로덕션 배포의 실질적 선택지를 제공한다.
핵심 요약
vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다. PagedAttention을 통해 메모리를 효율적으로 관리하고 연속 배칭, 청크 프리필, 프리픽스 캐싱으로 높은 처리량을 제공한다. FP8, INT4, GPTQ/AWQ, GGUF 등 다양한 양자화 방식과 FlashAttention, FlashInfer 같은 최적화 커널을 지원한다. 전체 요약 8문장 읽기 → 010 16:56 ▲ 620 · 댓글 215 DeepSeek, 자체 추론 엔진 오픈소스로 공개 딥시크가 자사 대규모 서비스에 쓰이는 고성능 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. AI · 머신러닝 · DeepSeek just open-sourced its inference engine
Key Point 딥시크의 대규모 서빙에 검증된 고성능 추론 엔진이 오픈소스화되어, LLM 배포를 다루는 개발자들이 프로덕션 수준의 최적화 기법을 직접 활용할 수 있게 되었다.
핵심 요약
딥시크가 자사 대규모 서비스에 쓰이는 고성능 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. 지원 모델은 DeepSeek-V4.1-Flash이며, FlashMLA, DeepGEMM, DeepEP 등 최적화된 커널과 MoE 전문가 병렬화, 비동기 스케줄링, 배치 불변 추론 등 대규모 서빙에 필요한 핵심 기능을 포함한다. DSpark와 신뢰도 기반 검증으로 드래프트 토큰을 통해 디코딩을 가속화하며, 설정 파라미터로 최대 드래프트 길이(기본값 5)를 조절할 수 있다. 전체 요약 9문장 읽기 → 011 06:11 ▲ 279 · 댓글 111 MiniMax M3.1 Flash 출시, 70% 가격 인하하고 추론 속도 3배 빨려 MiniMax가 차세대 경량 모델 M3.1 Flash를 공식 출시했으며, 기존 모델 대비 온라인 추론 속도가 3배 빨라지고 비용이 70% 절감됐다. AI · 머신러닝 · MiniMax M3.1 Flash
Key Point 에이전트 작업의 비용을 크게 낮추면서 최상위 모델 수준의 성능을 제공하는 모델이 나왔으니, 자동화 솔루션과 개발 업무에 LLM을 활용하는 기업들에게 실질적인 선택지가 생겼다는 뜻이다.
핵심 요약
MiniMax가 차세대 경량 모델 M3.1 Flash를 공식 출시했으며, 기존 모델 대비 온라인 추론 속도가 3배 빨라지고 비용이 70% 절감됐다. 자동화 업무·코딩·컴퓨터 사용·사이버보안 분야에서 상위 모델 수준의 성능을 보이며, AutomationBench-AA에서 우수한 순위를 기록하고 판매·마케팅·운영·고객서비스·재무·HR 등 기업 워크플로우를 자동화한다. DeepSWE v1.1에서 73.7% 점수로 코딩 업무에 강하며, 다단계 계획·문서 일관성 유지·금융 규정 준수 같은 복잡한 실무 과제를 처리한다. 전체 요약 10문장 읽기 → 012 12:10 ▲ 10 · 댓글 2 GQA의 3가지 딜레마를 동시에 푸는 Virtual Head Attention 긴 문맥 처리 시 KV 캐시 크기, 학습·프리필 연산량, 모델 품질을 동시에 개선하기는 어렵다는 '불가능의 삼각형'에 직면한 어텐션 메커니즘 설계에 대응하기 위해 Virtual Head Attention(VHA)을 제안한다. AI · 머신러닝 · Virtual Head Attention
Key Point KV 캐시 메모리와 학습 효율, 모델 품질의 균형을 동시에 달성해야 하는 LLM 개발자들이 GQA의 근본적 한계를 극복할 수 있는 방법을 제시합니다.
핵심 요약
긴 문맥 처리 시 KV 캐시 크기, 학습·프리필 연산량, 모델 품질을 동시에 개선하기는 어렵다는 '불가능의 삼각형'에 직면한 어텐션 메커니즘 설계에 대응하기 위해 Virtual Head Attention(VHA)을 제안한다. VHA는 두 개의 경량 선형 연산으로 구성되는데, Q Premix가 쿼리 헤드 개수를 절반으로 줄인 상태에서 KV 그룹 내 가상 헤드 다양성을 복구하고, Linear Postmix가 낮은 순위의 I + AB^top 잔여 구조를 통해 헤드 간 특징을 융합한다. VHA는 비선형 연산을 도입하지 않으므로 Premix와 Postmix를 추론 시간에 각각 쿼리 프로젝션과 출력 프로젝션으로 폴드할 수 있어, 표준 GQA-2 아키텍처로 축약되면서 기존의 모든 GQA 추론 최적화를 직접 재사용할 수 있다. 전체 요약 6문장 읽기 → 013 03:11 ▲ 21 · 댓글 2 AI 에이전트의 추론 속도 2배 단축 기법 제안 대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다. AI · 머신러닝 · Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents
Key Point 도구를 사용하는 AI 에이전트의 추론 속도를 2배 단축하면서도 품질을 유지하는 새로운 방식으로, 개발비 많이 드는 강력한 모델의 추론 비용을 절감할 수 있는 실무 기법이 제시되었다.
핵심 요약
대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다. 기존 추측 기법은 약한 모델의 결과를 한 단계씩 검증하거나, 라우팅으로 어느 모델이 각 단계를 처리할지 결정한다. 논문에서 제안한 SpecAgent는 역할을 바꿔 약한 모델이 단계를 초안으로 작성하고 강력한 모델이 검증자로 변경한다. 전체 요약 11문장 읽기 → 014 12:11 ▲ 78 · 댓글 3 비디오 생성 중간에 이미 완성된 토큰 멈추기 자동회귀 비디오 생성은 모든 토큰을 최종 노이즈 제거 단계까지 거치지만, 많은 토큰은 초기 단계에서 이미 최종 출력과 거의 같아서 더 이상의 처리가 불필요하다. AI · 머신러닝 · Speculative Forcing for Efficient Autoregressive Video Generation
Key Point 자동회귀 비디오 생성의 계산 병목을 토큰 단위로 해결해 같은 품질의 결과를 1.35~1.5배 빠르게 생성할 수 있게 하는 방법론이 공개됐다.
핵심 요약
자동회귀 비디오 생성은 모든 토큰을 최종 노이즈 제거 단계까지 거치지만, 많은 토큰은 초기 단계에서 이미 최종 출력과 거의 같아서 더 이상의 처리가 불필요하다. Speculative Forcing은 초기 단계의 깨끗한 추정값을 임시 결과물로 취급하고, 개별 토큰이 안전하게 조기에 수락될 수 있는 시점을 예측하는 프레임워크다. 수락된 토큰은 더 이상 노이즈 제거를 받지 않으면서 남은 토큰들의 맥락으로 캐시된 키와 값이 활용된다. 전체 요약 7문장 읽기 → 015 15:11 ▲ 28 · 댓글 2 텍스트와 잠재 공간을 넘나드는 하이브리드 추론 에이전트 현대 LLM 에이전트는 텍스트로만 추론하고 상호작용하지만, 잠재 공간 추론은 효율적이면서도 도구 접근과 추론 투명성이 부족한 문제를 해결하기 위해 하이브리드 추론 에이전트(HybridAgent)가 제안됐다. AI · 머신러닝 · Hybrid Reasoning Agents
Key Point LLM 에이전트의 추론 효율성과 투명성을 동시에 높이는 새로운 아키텍처로, 토큰 절감과 속도 개선이 이미 검증된 실질적인 개선 방안이다.
핵심 요약
현대 LLM 에이전트는 텍스트로만 추론하고 상호작용하지만, 잠재 공간 추론은 효율적이면서도 도구 접근과 추론 투명성이 부족한 문제를 해결하기 위해 하이브리드 추론 에이전트(HybridAgent)가 제안됐다. HybridAgent는 통합 생성 프로세스 내에서 잠재 추론과 텍스트 기반 상호작용을 동적으로 전환하며, 가벼운 HybridLink가 두 모드 간 seamless한 전환을 가능케 한다. 에이전트의 지속적 작업 메모리는 다중 턴에서 손실 없는 하이브리드 컨텍스트를 유지하고, 도구 통합 기능을 보존하면서도 잠재 사고(latent thoughts)를 직접 검사할 수 있도록 설계됐다. 전체 요약 6문장 읽기 → 016 21:11 ▲ 16 · 댓글 2 영상 생성 속도 2배 이상 높인 경량 VAE 기법 공개 영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. AI · 머신러닝 · LightVAE: Towards Compact and Efficient Video Autoencoders
Key Point 영상 생성 모델의 추론 속도를 2배 이상 높일 수 있는 기술이 공개되어, 실시간 영상 생성 서비스의 비용과 성능을 크게 개선할 수 있게 되었다.
핵심 요약
영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. 기존 방식은 공간과 시간 계산을 함께 제약하거나 시간 계산을 제거했으나, Conv3D에서 두 차원의 압축 민감도를 구분하지 못했다. LightVAE는 시간 모델링과 네트워크 깊이의 중복성을 이용하는 압축 프레임워크다. 전체 요약 12문장 읽기 → 017 12:11 ▲ 66 · 댓글 1 Sparse Attention의 성능 가속, 무손실 증명 기반 최적화 DoSA(Dots Sparse Attention)는 sparse attention의 계산 비용을 줄이는 무손실 방법으로, 모든 키에 대한 점수 매김을 조건부로 만들면서도 정확한 토큰 선택을 보장한다. AI · 머신러닝 · DoSA: Dots Sparse Attention
Key Point LLM의 주요 병목인 sparse attention 계산을 수학적 증명으로 가속하는 기법으로, 추론 속도 개선이 직접적으로 비용 절감으로 이어지는 프로덕션 환경에서 실질적 임팩트를 제공한다.
핵심 요약
DoSA(Dots Sparse Attention)는 sparse attention의 계산 비용을 줄이는 무손실 방법으로, 모든 키에 대한 점수 매김을 조건부로 만들면서도 정확한 토큰 선택을 보장한다. 핵심 아이디어는 Top-K 선택이 후보를 완전히 평가하지 않아도 승리 임계값에 대한 증명(certificate)으로 배제 가능하다는 점이다. 시드 세트가 임계값의 하한을 제공하고, 음수 가중치 헤드의 기여도를 수학적으로 상한으로 제한한다. 전체 요약 7문장 읽기 → 018 18:12 ▲ 27 · 댓글 2 병렬 초안 생성의 문제를 고치는 DCOCO 기법 추측 디코딩은 경량의 드래프터가 여러 토큰을 먼저 제안하고 타겟 모델이 병렬로 검증해 LLM 추론을 가속화한다. AI · 머신러닝 · Contextual Correction of Parallel Drafts for Speculative Decoding
Key Point 현재 프로덕션 LLM 추론에서 가장 효과적인 가속 기법인 추측 디코딩의 근본적 병목을 해결했으며, 모든 서빙 조건에서 지속적인 성능 향상을 제시한다.
핵심 요약
추측 디코딩은 경량의 드래프터가 여러 토큰을 먼저 제안하고 타겟 모델이 병렬로 검증해 LLM 추론을 가속화한다. 최근 확산 기반 드래프터들은 병렬로 여러 위치를 동시에 예측하지만, 각 토큰이 앞선 토큰들의 정체를 모른 채 예측되어 자동회귀 생성의 문맥 의존성이 손실된다. DCOCO(DFlash Contextual Corrector)는 병렬 드래프팅을 유지하면서 이 의존성을 복원하는 경량 메커니즘이다. 전체 요약 6문장 읽기 → 019 21:11 당일 +333 마이크로소프트, 1비트 LLM 추론 프레임워크 공개 마이크로소프트가 1비트 LLM(BitNet b1.58)을 위한 공식 추론 프레임워크 bitnet.cpp를 출시했다. AI · 머신러닝 · microsoft/BitNet · C++
Key Point CPU만으로 초대형 언어 모델을 실용적 속도로 실행할 수 있게 되면서, 엣지 디바이스와 로컬 환경에서의 LLM 배포 방식이 근본적으로 바뀔 수 있다.
핵심 요약
마이크로소프트가 1비트 LLM(BitNet b1.58)을 위한 공식 추론 프레임워크 bitnet.cpp를 출시했다. x86 CPU에서 2.37~6.17배 속도 향상, ARM CPU에서 1.37~5.07배 향상을 달성하며 에너지 소비는 x86에서 71.9~82.2%, ARM에서 55.4~70.0% 감소한다. 100B 파라미터의 BitNet b1.58 모델을 단일 CPU에서 초당 5~7 토큰 속도로 실행 가능하다. 전체 요약 11문장 읽기 → 020 21:11 당일 +1,001 70B 대형언어모델을 4GB GPU에서 돌리는 AirLLM AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. AI · 머신러닝 · lyogavin/airllm · Jupyter Notebook
Key Point 소형 GPU로도 대규모 언어모델을 직접 구동할 수 있게 되면서 개인 개발자나 제한된 리소스 환경에서 최신 모델 실험이 가능해진다.
핵심 요약
AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. 한 번에 한 레이어만 GPU에 유지하는 방식으로 메모리 사용량을 최소화하며, Kimi K3(2.8T)는 3.72GB, DeepSeek-V3(671B)는 약 12GB, Qwen3.8-Flash-Next(125B)는 6GB에서 실행된다. 최신 버전(v3.0)은 FP8 모델을 지원하고, Llama·Qwen·DeepSeek·Phi·Gemma 등 대부분의 주요 오픈소스 LLM을 AutoModel을 통해 자동으로 감지해 지원한다. 전체 요약 11문장 읽기 → 021 09:11 ▲ 125 · 댓글 49 마이크로소프트, 의사결정 특화 AI 모델 공개 마이크로소프트가 구조화된 의사결정 작업에 특화한 'Microsoft-Decision-1' 모델을 발표했다. AI · 머신러닝 · Microsoft-Decision-1, our model for fast decision-making
Key Point 에이전트 AI가 실제 환경에서 행동하는 지금, 비용 효율적이면서도 빠른 의사결정 AI의 필요성이 높아지고 있으며, 마이크로소프트의 새 모델은 기존 LLM 대비 35배 빠르고 200배 저렴한 성능으로 업계의 선택 기준을 바꿀 수 있다.
핵심 요약
마이크로소프트가 구조화된 의사결정 작업에 특화한 'Microsoft-Decision-1' 모델을 발표했다. 이 모델은 기존 LLM이나 다른 의사결정 모델보다 빠르고 정확하게 라우팅, 분류, 우선순위 결정, 검증, 워크플로우 제어 등을 수행한다. 36개 벤치마크의 15만 개 질문에서 최고 정확도를 달성했으며, GPT-6 Sol보다 4.5배 빠르고 35배 빠른 응답 속도를 기록했다. 전체 요약 13문장 읽기 → 022 21:11 ▲ 17 · 댓글 2 긴 맥락 LLM을 위한 스파스 추론 엔진 'SparseEngine' 공개 긴 상호작용 이력을 축적하는 LLM 에이전트는 KV-캐시 메모리와 어텐션 연산 부하가 증가하는 문제를 겪고 있다. AI · 머신러닝 · SparseEngine: Sparse-First Inference Engine
Key Point 긴 맥락 LLM 에이전트의 메모리 부하와 계산 비용을 획기적으로 줄이면서 기존 추론 엔진과 호환되는 첫 번째 스파스 우선 엔진으로, 실무 배포 환경에서 즉시 활용 가능한 성능 개선을 제공한다.
핵심 요약
긴 상호작용 이력을 축적하는 LLM 에이전트는 KV-캐시 메모리와 어텐션 연산 부하가 증가하는 문제를 겪고 있다. 기존 스파스 어텐션 방식들은 이질적인 캐시 표현과 워크플로우로 인해 기존 추론 엔진 통합이 어렵고, 특정 레이아웃이나 워크플로우만 지원한다. SparseEngine은 스파스 우선 설계의 추론 엔진으로, 공유된 생명주기 계약을 통해 각 방식이 KV 표현과 연산을 독립적으로 제어하면서도 공통 인프라와 상태 전환을 조율할 수 있다. 전체 요약 6문장 읽기 → 023 00:11 ▲ 12 · 댓글 2 투기적 디코딩에서 불필요한 검증을 줄이는 DLoop 기법 큰 언어 모델의 자동회귀 생성을 가속하는 투기적 디코딩은 경량 초안 모델이 토큰을 제안하면 목표 모델이 이를 검증하는 방식으로 작동한다. AI · 머신러닝 · DLoop: Looped Speculative Decoding
Key Point LLM 추론 속도는 산업 전반의 핵심 과제인데, DLoop가 기존 투기적 디코딩 방식들의 근본 한계를 해결하고 다양한 방법에 범용적으로 적용 가능하다는 점이 중요합니다.
핵심 요약
큰 언어 모델의 자동회귀 생성을 가속하는 투기적 디코딩은 경량 초안 모델이 토큰을 제안하면 목표 모델이 이를 검증하는 방식으로 작동한다. 초안 모델의 성능이 높아지면 목표 모델이 제안된 토큰 전체를 자주 수락하는데도, 매 초안 단계 후 불필요한 검증 및 목표 모델 연산이 반복된다. 기존 적응형 초안 길이 방식들은 자동회귀 초안 모델에서만 속도 향상을 주고, 병렬 초안 모델의 경우 검증되지 않은 토큰의 목표 모델 은닉 상태가 필요해 한계가 있다. 전체 요약 7문장 읽기 → 024 18:30 ▲ 16 · 댓글 2 LLM 추론 최적화를 사용자 맞춤형으로, PersonTTS 제안 LLM의 테스트 타임 스케일링(TTS)은 추가 추론 계산을 할당해 추론 능력을 개선하지만, 기존 방식들은 정확도-비용 또는 정확도-지연시간 중 하나의 파레토 경계만 최적화한다. AI · 머신러닝 · From Pareto to Preference: Personalized Test-Time Scaling via Amortized Agentic Policy Discovery
Key Point LLM 추론 과정을 다양한 사용자 요구(정확도·비용·속도)에 맞춰 최적화하는 문제를 처음 체계적으로 정식화하고, 이전 탐색 경험을 재사용해 계산 효율까지 확보하는 실용적 방법을 제시했다.
핵심 요약
LLM의 테스트 타임 스케일링(TTS)은 추가 추론 계산을 할당해 추론 능력을 개선하지만, 기존 방식들은 정확도-비용 또는 정확도-지연시간 중 하나의 파레토 경계만 최적화한다. 사용자 요구는 다차원적이다: 정확도, 지연시간, 추론 비용을 동시에 명시할 수 있으며, 서로 다른 요구는 다른 컨트롤러를 필요로 한다. PersonTTS는 사용자별 요구사항을 최대한 만족시키는 실행 가능한 컨트롤러를 발견하는 스케줄링 문제로 정식화한다. 전체 요약 7문장 읽기 → 025 18:33 ▲ 13 · 댓글 2 로봇 정책 호출 줄인 VLA 모델, 부드러운 동작 가능해졌다 Vision-Language-Action 모델은 로봇 조작의 통합 정책으로 쓰이지만, 높은 추론 비용으로 인해 정책 호출 사이에 로봇이 정지해야 하고 이는 부드러운 동작을 방해하고 작업 시간을 늘린다. AI · 머신러닝 · When to Switch: Reliable Action-Chunk Extension for Vision-Language-Action Models
Key Point 로봇이 정책을 자주 호출할 때 발생하는 정지 구간을 없애면서도 신뢰도를 유지하는 방법이 실제 로봇에서 5배의 시간 절감을 이뤄 실용적 가치가 크다.
핵심 요약
Vision-Language-Action 모델은 로봇 조작의 통합 정책으로 쓰이지만, 높은 추론 비용으로 인해 정책 호출 사이에 로봇이 정지해야 하고 이는 부드러운 동작을 방해하고 작업 시간을 늘린다. 액션 청크(action chunk)를 늘리면 정책 호출과 일시 정지를 줄일 수 있지만, 더 먼 미래를 예측하다 보니 장시간 청크 실행의 신뢰도가 떨어진다. 연구팀은 장시간 청크 내 액션 오류를 분석했고, 오류가 조작 서브스킬 간의 전환 지점에 집중되며 청크 길이에 따라 급격히 증가함을 발견했다. 전체 요약 6문장 읽기 → 026 03:11 ▲ 57 · 댓글 2 여러 LLM을 조합한 멀티에이전트, KV 캐시 공유로 10배 빠르게 Llama, Mistral 등 서로 다른 모델을 조합하는 멀티에이전트 LLM 시스템에서, 송신자의 처리된 문맥을 수신자가 다시 처리(prefill)하는 중복 비용이 발생한다. AI · 머신러닝 · Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
Key Point 서로 다른 LLM을 조합하는 멀티에이전트 시스템에서 구조적 차이를 극복하고 캐시 재사용으로 최대 10배의 속도 향상을 달성한 방식이 처음 제시되었습니다.
핵심 요약
Llama, Mistral 등 서로 다른 모델을 조합하는 멀티에이전트 LLM 시스템에서, 송신자의 처리된 문맥을 수신자가 다시 처리(prefill)하는 중복 비용이 발생한다. 논문은 HeteroFold라는 방식을 제안했다. 토큰화·모델 깊이·KV 표현의 차이를 처리하면서 양쪽 모델을 그대로 두고 KV 캐시를 다른 모델 족으로 이전한다. HeteroFold는 구조를 정렬하고, 송신자의 캐시를 수신자 공간으로 매핑한 뒤, 수신자의 동작을 유지하도록 보정한다. 전체 요약 6문장 읽기 → 027 03:11 ▲ 34 · 댓글 2 루프형 트랜스포머의 추론 효율 50% 끌어올리는 LoopCD 루프형 트랜스포머는 재귀 루프 내에서 공유 블록을 반복 실행해 매개변수 효율을 높이지만, 각 루프마다 생성되는 중간 표현은 표준 디코딩에서 버려진다. AI · 머신러닝 · Decoding Looped Transformers Better for (Almost) Free
Key Point 루프형 트랜스포머는 추론 효율을 중시하는 모바일·엣지 환경에서 주목받는데, LoopCD로 추론 계산량을 절반 가까이 줄이면서 정확도도 높일 수 있다는 것이 중요하다.
핵심 요약
루프형 트랜스포머는 재귀 루프 내에서 공유 블록을 반복 실행해 매개변수 효율을 높이지만, 각 루프마다 생성되는 중간 표현은 표준 디코딩에서 버려진다. 강한 예측과 약한 예측을 자동으로 쌍으로 제공하는 루프의 특성을 활용하면, 보조 모델이나 외부 학습 없이 디코딩을 개선할 수 있다. 연구진은 훈련 없는 대비학습 프레임워크 LoopCD를 제안했으며, 최종 예측을 이전 루프와 비교해 토큰 선택을 안내한다. 전체 요약 7문장 읽기 → 028 12:11 ▲ 14 · 댓글 2 LLM 긴 문맥 추론 가속, KV 캐시 저비트 양자화 기법 WUSH-KV 컨텍스트 길이와 배치 크기가 늘어나면서 KV 캐시의 메모리와 대역폭 비용이 증가하여 긴 문맥 추론 효율이 떨어지는 문제를 해결하기 위해 WUSH-KV 기법을 제안했다. AI · 머신러닝 · WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms
Key Point 긴 문맥을 다루는 LLM의 추론 속도와 메모리 효율을 크게 개선할 수 있는 양자화 기법으로, 실제 프로덕션 환경에서 바로 적용 가능한 방법을 제시한다.
핵심 요약
컨텍스트 길이와 배치 크기가 늘어나면서 KV 캐시의 메모리와 대역폭 비용이 증가하여 긴 문맥 추론 효율이 떨어지는 문제를 해결하기 위해 WUSH-KV 기법을 제안했다. WUSH-KV는 행렬 곱셈의 두 인수에서 2차 통계량을 이용해 데이터 인식 변환을 구성하는 WUSH 방식을 KV 캐시에 적용한 것으로, 양자화 오류를 줄일 수 있다. 캘리브레이션 데이터로 key와 value에 대해 별도의 변환을 구성하며, value 변환은 모델 가중치에 포함시키고 key 변환은 RoPE 이후에 적용한다. 전체 요약 6문장 읽기 → 029 03:11 ▲ 99 · 댓글 3 KV 캐시 압축의 숨은 약점, 위치에 따라 정확도 40%p 차이 긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다. AI · 머신러닝 · Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
Key Point 긴 문맥 추론 최적화를 위해 KV 캐시 압축을 도입하면 평균 점수로는 보이지 않는 주기적 성능 저하가 발생하므로, 이 기법의 실제 안정성을 평가할 때 주의가 필요하다.
핵심 요약
긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다. 같은 정보가 어떤 phase에서는 쉽게 검색되지만 다른 phase에서는 어렵다는 체계적인 비대칭성이 발생하며, 이를 phase sensitivity라고 명명했다. 대규모 오픈소스 모델들에서 long-context 검색 정확도가 phase에 따라 최대 40 percentage points 차이가 나타나, 평균 벤치마크 점수로는 드러나지 않는 주기적 약점들이 존재한다. 전체 요약 7문장 읽기 → 030 09:11 ▲ 153 · 댓글 51 AMD, AI 스타트업 World Labs 인수 World Labs가 AMD 인수에 합의했다. 2024년 창립 이후 공간 및 물리 세계의 문제를 푸는 AI 잠재력에 대한 비전을 확립했으며, 확장과 하드웨어 접근성 강화를 위해 인수를 결정했다. AI · 머신러닝 · World Labs Is Joining AMD
Key Point AI 스타트업의 빅테크 대규모 인수로 하드웨어-소프트웨어 통합 경향이 확실해졌고, 오픈 AI 생태계 구축 선언이 주목할 만하다.
핵심 요약
World Labs가 AMD 인수에 합의했다. 2024년 창립 이후 공간 및 물리 세계의 문제를 푸는 AI 잠재력에 대한 비전을 확립했으며, 확장과 하드웨어 접근성 강화를 위해 인수를 결정했다. 두 회사는 지난해부터 AMD GPU에서의 모델 학습 및 추론 최적화를 중심으로 기술 파트너십을 진행해왔다. 협력 과정에서 AI 소프트웨어·하드웨어 생태계, 파운데이션 모델, 애플리케이션을 통합하는 것이 자연스러운 방향임을 인식했다. 전체 요약 7문장 읽기 → 031 09:10 ▲ 117 · 댓글 11 3진 LLM 압축의 1.585비트 벽을 깬다 3진 LLM의 가중치는 {-1, 0, +1} 세 개 심볼로만 저장되며, 기존 5진-트릿 패킹 방식은 가중치당 1.625비트가 소요된다. AI · 머신러닝 · Breaking the 1.58-bit Barrier for Ternary LLMs
Key Point 3진 LLM의 저장 용량을 근본적으로 줄이는 압축 기법으로, 엣지 기기부터 서버까지 추론 성능을 즉시 개선할 수 있다.
핵심 요약
3진 LLM의 가중치는 {-1, 0, +1} 세 개 심볼로만 저장되며, 기존 5진-트릿 패킹 방식은 가중치당 1.625비트가 소요된다. 29개 3진 LLM 모델을 분석하면 영(0)이 최대 51.5%를 차지해 심볼이 균등하지 않게 분포한다. BITCOS 레이아웃은 영(0) 밀도에 따라 적응적으로 압축하며, 가중치당 (2 - z)비트를 사용한다. 전체 요약 5문장 읽기 → 032 00:10 ▲ 669 · 댓글 262 Cerebras와 OpenAI, GPT-5.6 Sol 울트라팩스트 모드 공개 Cerebras와 OpenAI가 새로운 서비스 계층 울트라팩스트 모드를 OpenAI API에 출시했으며, 초당 최대 750개 토큰을 생성한다. AI · 머신러닝 · Accelerating GPT-5.6 Sol Ultrafast
Key Point 고성능 AI 추론 기술의 실질적 진전을 보여주는 사례로, GPU 기반 시스템의 근본적 한계를 새로운 아키텍처로 극복한 점이 개발자 커뮤니티의 관심을 받고 있다.
핵심 요약
Cerebras와 OpenAI가 새로운 서비스 계층 울트라팩스트 모드를 OpenAI API에 출시했으며, 초당 최대 750개 토큰을 생성한다. 울트라팩스트 모드는 Fable 5보다 11배, Opus 4.8 Fast 모드보다 5배 빠르며, 품질 저하 없이 동작한다. Cerebras의 Wafer-Scale Engine 아키텍처가 칩에 44GB SRAM을 탑재하여 메모리 대역폭 병목을 제거해 고속 추론을 실현한다. 
