쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
3건 · "긴 맥락"조건 지우기 ×
001 15:11 ▲ 20 · 댓글 2 에이전트 AI 추론을 위한 '히스토리 프리' 추측 디코딩 DLite 추측 디코딩은 경량 드래프트 모델로 토큰을 생성하고 타겟 모델이 검증하는 방식으로 LLM 추론을 가속화하는 기법이지만, 에이전트 AI 워크로드의 긴 맥락과 다중 턴 상호작용에서는 드래프트 모델의 토큰 승인률이 최대 80% 저하된다. AI · 머신러닝 · DLite: History-free Speculative Decoding for Agentic AI
Key Point 에이전트 AI 같은 긴 맥락의 상호작용형 워크로드에서 LLM 추론 속도를 크게 높일 수 있는 새로운 접근 방식을 제시합니다.
핵심 요약
추측 디코딩은 경량 드래프트 모델로 토큰을 생성하고 타겟 모델이 검증하는 방식으로 LLM 추론을 가속화하는 기법이지만, 에이전트 AI 워크로드의 긴 맥락과 다중 턴 상호작용에서는 드래프트 모델의 토큰 승인률이 최대 80% 저하된다. 기존 방식은 역사적 KV 캐시를 유지함에 따라 시스템 오버헤드가 커진다. 연구팀은 증가하는 역사적 맥락이 두 문제의 공통 원인임을 파악하고, DLite라는 '히스토리 프리' 추측 디코딩 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 002 12:11 ▲ 14 · 댓글 2 선형 어텐션의 오래된 맥락 처리 능력 끌어올리기 선형 어텐션은 효율성이 필요한 긴 맥락 언어 모델링을 약속하지만, 고정 크기의 순환 상태로 현재 계산을 지원하면서 동시에 계속 증가하는 히스토리 정보를 보존해야 하는 딜레마가 있다. AI · 머신러닝 · History Replays Itself: Unleashing Long-Context Capability in Linear Attention
Key Point 선형 어텐션 모델의 가장 큰 약점인 긴 맥락 처리를 메모리 오버헤드 거의 없이 해결하는 방법을 제시해 실용적 배포 가능성을 높였다.
핵심 요약
선형 어텐션은 효율성이 필요한 긴 맥락 언어 모델링을 약속하지만, 고정 크기의 순환 상태로 현재 계산을 지원하면서 동시에 계속 증가하는 히스토리 정보를 보존해야 하는 딜레마가 있다. 기존에는 이 순환 상태의 메모리 용량이 모델의 긴 맥락 처리 능력의 상한선을 정한다고 여겨졌으나, 연구팀은 순환 계산이 장기 저장의 모든 부담을 질 필요가 없다는 점을 제시한다. NoteBank라는 희소 에피소드 메모리를 도입했으며, 이는 미래 쿼리를 알기 전에 선택된 텍스트를 보관하고, 백본의 기본 특징으로 읽고 쓰며, 재생을 통해 네이티브 순전파 계산으로 검색된 증거를 읽는다. 전체 요약 8문장 읽기 → 003 21:11 ▲ 17 · 댓글 2 긴 맥락 LLM을 위한 스파스 추론 엔진 'SparseEngine' 공개 긴 상호작용 이력을 축적하는 LLM 에이전트는 KV-캐시 메모리와 어텐션 연산 부하가 증가하는 문제를 겪고 있다. AI · 머신러닝 · SparseEngine: Sparse-First Inference Engine
Key Point 긴 맥락 LLM 에이전트의 메모리 부하와 계산 비용을 획기적으로 줄이면서 기존 추론 엔진과 호환되는 첫 번째 스파스 우선 엔진으로, 실무 배포 환경에서 즉시 활용 가능한 성능 개선을 제공한다.
핵심 요약
긴 상호작용 이력을 축적하는 LLM 에이전트는 KV-캐시 메모리와 어텐션 연산 부하가 증가하는 문제를 겪고 있다. 기존 스파스 어텐션 방식들은 이질적인 캐시 표현과 워크플로우로 인해 기존 추론 엔진 통합이 어렵고, 특정 레이아웃이나 워크플로우만 지원한다. SparseEngine은 스파스 우선 설계의 추론 엔진으로, 공유된 생명주기 계약을 통해 각 방식이 KV 표현과 연산을 독립적으로 제어하면서도 공통 인프라와 상태 전환을 조율할 수 있다. 전체 요약 6문장 읽기 → 
