쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 4일 (수)까지3898건
5건 · "KV-캐시"조건 지우기 ×
001▲ 12 · 댓글 2토큰 수준의 선택 정확도와 실행 효율을 동시에 해결한 희소 어텐션긴 문맥에서 LLM 추론 시 KV-캐시 통신량을 줄이는 희소 어텐션 기법들은 주로 높은 단위의 선택만 가능하던 한계가 있었다.AI · 머신러닝 · Joint Subspace Sparse Attention for Efficient Long-Context Decoding
Key Point토큰 단위 선택의 정확도와 실행 속도 사이의 오래된 트레이드오프를 동시에 해결해 실용적인 장문맥 추론 가속이 가능해진다.
핵심 요약
- 긴 문맥에서 LLM 추론 시 KV-캐시 통신량을 줄이는 희소 어텐션 기법들은 주로 높은 단위의 선택만 가능하던 한계가 있었다.
- 저해상도 점수 부여로는 쿼리-키 구조 정보가 손실되어 정확한 랭킹이 어렵고, 선택된 토큰들을 모으는 과정에서 레이턴시 이득이 상쇄되는 문제가 있었다.
- Joint Subspace Sparse Attention (JSSA)은 공유 저차원 쿼리-키 부분공간을 학습해 토큰 점수 보존 오차를 최소화함으로써 선택 품질을 개선한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · SoloQ: Calibration-Free Quantization for Diffusion Language Models
Key Point확산 기반 언어모델의 배포 효율성이 점점 중요해지는 상황에서, 보정 데이터 없이도 정확도를 유지하는 양자화 기법이 실무 적용 시간을 크게 단축할 수 있다.
핵심 요약
- 확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다.
- 기존 양자화 방법들은 마스킹 상태와 노이징 단계마다 활성화 분포가 바뀌어 보정 데이터가 필수였다.
- SoloQ는 가중치와 활성화를 정규화된 회전 기저로 매핑해 예측 가능한 주변 분포를 만들고, 이를 통해 데이터 독립적 양자화를 실현한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · SparseEngine: Sparse-First Inference Engine
Key Point긴 맥락 LLM 에이전트의 메모리 부하와 계산 비용을 획기적으로 줄이면서 기존 추론 엔진과 호환되는 첫 번째 스파스 우선 엔진으로, 실무 배포 환경에서 즉시 활용 가능한 성능 개선을 제공한다.
핵심 요약
- 긴 상호작용 이력을 축적하는 LLM 에이전트는 KV-캐시 메모리와 어텐션 연산 부하가 증가하는 문제를 겪고 있다.
- 기존 스파스 어텐션 방식들은 이질적인 캐시 표현과 워크플로우로 인해 기존 추론 엔진 통합이 어렵고, 특정 레이아웃이나 워크플로우만 지원한다.
- SparseEngine은 스파스 우선 설계의 추론 엔진으로, 공유된 생명주기 계약을 통해 각 방식이 KV 표현과 연산을 독립적으로 제어하면서도 공통 인프라와 상태 전환을 조율할 수 있다.
전체 요약 6문장 읽기 →AI · 머신러닝 · TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
Key PointMoE 모델의 강화학습 훈련에서 롤아웃 단계의 메모리와 속도 병목을 저정밀도 양자화로 5배 이상 해결할 수 있게 되어, 대규모 모델 학습의 실용성이 크게 향상된다.
핵심 요약
- 대규모 언어모델의 강화학습 훈련에서 롤아웃(rollout) 생성 과정이 계산과 메모리 오버헤드를 많이 차지하는 문제가 있어, 저정밀도 롤아웃을 통한 효율화가 필요하다.
- 기존 FP4 강화학습 방법들은 훈련과 롤아웃 경로의 양자화를 독립적으로 최적화하기 때문에 두 경로 간 불일치(discrepancy)가 발생하는 한계가 있다.
- 연구팀은 TRACE(Train-Rollout Quantization Alignment via Compact GuidancE)라는 FP4 양자화 프레임워크를 제안했으며, 이는 롤아웃 측의 양자화 결과를 훈련 측 반올림 결정에 직접 반영하여 불일치를 줄인다.
전체 요약 7문장 읽기 →AI · 머신러닝 · Cache-to-Cache: Direct Semantic Communication Between LLMs (2025)
Key PointLLM 조합 시스템에서 텍스트 대신 내부 표현을 직접 주고받는 새로운 방식으로, 정확도와 속도 모두에서 현저한 개선을 보여 멀티모델 아키텍처의 효율성을 크게 높일 수 있다.
핵심 요약
- 여러 LLM을 조합하는 멀티모델 시스템에서 기존의 텍스트 통신은 의미 정보를 손실하고 토큰 생성 지연을 야기한다.
- 연구진은 KV-캐시를 모델 간 의미 전송 매체로 활용하는 Cache-to-Cache(C2C) 패러다임을 제안했다.
- 신경망이 소스 모델의 KV-캐시를 투영·융합해 대상 모델의 캐시와 직접 연결하며, 학습 가능한 게이팅 메커니즘이 최적의 레이어를 선택한다.
전체 요약 5문장 읽기 →