쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
40건 · "장문맥"조건 지우기 ×
001 15:10 ▲ 35 · 댓글 8 대형 언어모델, 강화학습으로 '자기주도 학습' 능력 키운다 LLM이 미지의 영역에서 문제를 풀려면 사전학습된 지식이나 고정 검색만으로는 부족하며, 참고 자료를 즉시 습득하고 추론하는 자기주도 학습이 필요하다. AI · 머신러닝 · Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
Key Point 미지의 영역에서 LLM의 문제해결을 좌우하는 '즉각적 학습' 능력을 강화학습으로 끌어내는 방법론을 제시해 지식 습득과 추론의 결합 방식을 새로이 정의한다.
핵심 요약
LLM이 미지의 영역에서 문제를 풀려면 사전학습된 지식이나 고정 검색만으로는 부족하며, 참고 자료를 즉시 습득하고 추론하는 자기주도 학습이 필요하다. 연구팀은 교과서 기반 수학 문제 풀이 과제를 설계했으며, 모델이 교과서 설명을 탐색하고 원리를 학습·적용해 증명을 구성하되 정답은 제공하지 않는다. BookNavigator 인터페이스를 통해 이러한 학습 과정을 지원하고, 미세하게 조정된 보상 신호를 이용한 강화학습으로 자기주도 학습을 유도했다. 전체 요약 6문장 읽기 → 002 03:11 ▲ 11 · 댓글 3 LLM 자동 압축, 하드웨어 제약 직접 반영 LLM 프루닝은 모델 품질을 유지하면서 레이턴시, 처리량, 메모리 같은 하드웨어·워크로드별 제약을 동시에 만족해야 한다. AI · 머신러닝 · AutoCompress: Automated Hardware-Guided Model Compression
Key Point 파라미터 수 기준이 아닌 실제 하드웨어 제약을 직접 최적화 목표로 삼아 서로 다른 기기에서 최적의 모델을 자동으로 찾아내는 방식이 기존 프루닝의 수동 시행착오를 근본적으로 바꾼다.
핵심 요약
LLM 프루닝은 모델 품질을 유지하면서 레이턴시, 처리량, 메모리 같은 하드웨어·워크로드별 제약을 동시에 만족해야 한다. 기존 프루닝 방식은 파라미터 수 목표치를 정하고 실무자가 수동으로 모델 크기를 선택하는데, 파라미터 수만으로는 아키텍처·워크로드·하드웨어·서빙 엔진에 따라 달라지는 실제 성능 지표를 예측할 수 없다. AutoCompress는 하드웨어 제약을 미분 가능 아키텍처 탐색에 직접 반영하는 압축 프레임워크로, 글로벌 및 레이어별 구조를 동시에 최적화하여 이질적 아키텍처를 생성한다. 전체 요약 7문장 읽기 → 003 00:11 ▲ 34 · 댓글 4 추론 메모리 4배 줄이는 KV 캐시 압축 기법 LowRAM 생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다. AI · 머신러닝 · LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Key Point LLM 추론 시 가장 큰 메모리 병목인 KV 캐시를 4배 이상 압축하면서 성능을 유지하는 방법으로, 배치 크기 확대와 처리량 증대에 직결된다.
핵심 요약
생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다. 논문은 각 어텐션 헤드 내에서 밸류(Value)가 키(Key)로부터 대부분 예측 가능하다는 새로운 압축 축을 제시한다. 밸류 캐시 상각화 기법은 헤드별 경량 예측기를 추론 시점에 피팅하고 예측 오류가 큰 토큰의 잔차만 저장해 4배 무손실에 가까운 압축을 달성한다. 전체 요약 8문장 읽기 → 004 21:11 ▲ 22 · 댓글 2 상대 위치 어텐션, 구조 인식 커널로 속도·메모리 대폭 개선 RoPE 대신 상대 위치 기반 어텐션 메커니즘은 음성 처리 등에서 뛰어난 성능을 보이지만, 시퀀스가 길어질수록 메모리·대역폭·연산량이 급증하는 병목이 있었다. AI · 머신러닝 · Fast and Exact Relative-Position Attention via Structure-Aware Kernels
Key Point 상대 위치 어텐션이 RoPE 대비 유리한 도메인에서 길이 확장성의 근본적 병목을 해결함으로써, 오디오·장문맥 처리에서 Transformer 적용 범위를 크게 확대할 수 있다.
핵심 요약
RoPE 대신 상대 위치 기반 어텐션 메커니즘은 음성 처리 등에서 뛰어난 성능을 보이지만, 시퀀스가 길어질수록 메모리·대역폭·연산량이 급증하는 병목이 있었다. 이 논문은 FlashAttention 스타일의 타일 기반 연산에 상대 위치 항을 정확히 통합하는 새로운 알고리즘을 제안한다. 오프셋 인식 타일링으로 중복 인덱싱을 제거하고, 키-쿼리 관계 연산을 필요한 만큼만 계산해 토큰 쌍 간에 재사용한다. 전체 요약 7문장 읽기 → 005 18:15 ▲ 12 · 댓글 8 선형 어텐션의 게이팅과 읽기 방식을 개선한 Muir 제안 선형 어텐션은 맥락을 고정 크기의 키-값 상태로 압축해 선형 시간 학습과 상수 메모리 추론을 가능하게 한다. AI · 머신러닝 · Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
Key Point 선형 어텐션의 상태 업데이트 민감도 비대칭을 처음 분석하고 이를 바탕으로 설계한 Muir가 Transformer와 최신 모델을 능가하는 성능을 달성했으며, 수백만 토큰 외삽까지 안정적으로 동작해 장문맥 모델의 새로운 방향을 제시한다.
핵심 요약
선형 어텐션은 맥락을 고정 크기의 키-값 상태로 압축해 선형 시간 학습과 상수 메모리 추론을 가능하게 한다. 기존 Gated DeltaNet-2(GDN-2)는 채널별 감쇠와 분리된 전체 계수 지우기·쓰기 게이트를 사용하는데, 저자들은 상태 업데이트가 쓰기보다 지우기에 훨씬 덜 민감함을 발견했다. 키 활성화와 단위 정규화가 키 에너지를 채널의 희소 부분집합에 집중시키는 반면, 값 쓰기는 모든 채널을 스케일링하므로 지우기 게이트는 더 낮은 계수로 매개변수화될 수 있다. 전체 요약 10문장 읽기 → 006 06:11 ▲ 11 · 댓글 2 루프 트랜스포머를 위한 초저비트 KV 캐시 양자화 기술 LoopVQ 루프 트랜스포머는 동일한 레이어를 여러 번 재적용해 매개변수 효율성을 높이면서도 표준 트랜스포머 성능을 유지하는 아키텍처다. AI · 머신러닝 · LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
Key Point 루프 트랜스포머는 파라미터 효율성이 뛰어나지만 KV 캐시 메모리가 주요 병목인데, 0.5비트 수준의 극저비트 양자화로 추론 처리량을 6배까지 늘릴 수 있음을 보여준다.
핵심 요약
루프 트랜스포머는 동일한 레이어를 여러 번 재적용해 매개변수 효율성을 높이면서도 표준 트랜스포머 성능을 유지하는 아키텍처다. 하지만 루프의 각 단계마다 고유한 KV 캐시를 저장하므로, KV 캐시가 루프 단계 수에 따라 선형 증가하며 메모리 병목이 된다. 연구진은 루프 모델의 KV 캐시가 루프 축을 따라 높은 중복성을 가지며, 루프 단계별로 양자화 민감도가 크게 다름을 발견했다. 전체 요약 7문장 읽기 → 007 12:54 ▲ 11 · 댓글 2 루프 구조 언어 모델 Dory1.0-4B 공개, 작은 규모로 더 큰 모델 능력 구현 Hugging Face와 아카이브 논문 공개: 43억 파라미터 규모의 루프형 언어 모델 Dory1.0-4B를 발표했다. AI · 머신러닝 · Dory1.0-4B: A Looped Normalized-GPT
Key Point 작은 규모 모델이 루프 구조를 통해 더 큰 모델 수준의 성능을 달성할 수 있다는 것을 보여주며, 토큰 생성 효율과 메모리 사용 최적화 방식이 에지 디바이스와 추론 비용 절감에 영향을 미친다.
핵심 요약
Hugging Face와 아카이브 논문 공개: 43억 파라미터 규모의 루프형 언어 모델 Dory1.0-4B를 발표했다. 정규화 Transformer 기반으로 입력 블록, 공유 루프 블록, 출력 블록으로 구성하며, 추론 시 루프 블록을 가변 횟수로 반복 실행할 수 있다. 6조 개 토큰으로 사전 학습했으며, 초기 4.5조 토큰은 NVFP4 양자화로 학습했고 이후 컨텍스트 길이를 256K로 확장했다. 전체 요약 9문장 읽기 → 008 06:11 ▲ 23 · 댓글 3 정책 증류 학습, 분포 밖 일반화 능력 잃는다 여러 교사 모델에서 능력을 통합하는 다중 교사 정책 내 증류(MOPD)가 학습 데이터 분포 내에서는 완벽에 가까운 성능을 보이지만, 분포 밖 일반화 능력은 크게 떨어진다. AI · 머신러닝 · On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
Key Point 대규모 언어모델을 다중 교사로부터 학습시킬 때 학습 데이터 분포 내에선 우수하지만 그 외의 상황에서 성능이 급격히 떨어지는 핵심 문제를 실증적으로 규명했고, 개선 방안까지 제시했기 때문입니다.
핵심 요약
여러 교사 모델에서 능력을 통합하는 다중 교사 정책 내 증류(MOPD)가 학습 데이터 분포 내에서는 완벽에 가까운 성능을 보이지만, 분포 밖 일반화 능력은 크게 떨어진다. Qwen3 모델을 이용해 수학 추론, 코딩, 에이전트, 장문맥 이해 등 4가지 과제에서 성능을 평가한 결과, 분포 외(OOD) 성능이 기본 모델보다 2.45~16.25% 낮았다. 합성 작업에서는 MOPD가 분포 내 성능을 개선했으나, 구성된 작업의 분포 외 성능은 최고 성능 교사 모델보다 18.19~24.34% 뒤떨어졌다. 전체 요약 7문장 읽기 → 009 03:11 ▲ 16 · 댓글 4 긴 문맥 없이도 언어모델 성능 유지 가능 최신 오픈웨이트 언어모델에서 토큰 생성 비용이 초반부 대비 최대 7배까지 증가한다. AI · 머신러닝 · You don't need long context
Key Point 긴 문맥을 유지하는 것의 비용 대비 이득을 재평가하는 연구로, 장문맥 능력에 의존하던 LLM 설계와 배포 전략에 직접적인 영향을 미칠 수 있다.
핵심 요약
최신 오픈웨이트 언어모델에서 토큰 생성 비용이 초반부 대비 최대 7배까지 증가한다. 논문은 빈번한 압축(compaction)을 통해 긴 입력·긴 지평선 태스크에서도 짧은 문맥 유지 시 거의 정확도 손실 없이 수행 가능함을 보였다. 소프트웨어 엔지니어링 태스크에서도 한 번에 하나의 액션만 수행하는 제약에서 언어모델 성능이 붕괴하지 않음을 확인했다. 전체 요약 5문장 읽기 → 010 00:11 ▲ 121 · 댓글 69 바이두, 효율성 중심의 초거대 언어모델 ERNIE 5.5 Flash 공개 바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. AI · 머신러닝 · Baidu released ERNIE 5.5 Flash Base
Key Point 개발자가 자체 파인튜닝에 집중할 수 있도록 사전학습 체크포인트를 그대로 공개했고, 아키텍처 전반에서 활성 파라미터를 줄인 희소 모델로 훈련 및 추론 비용을 절감할 수 있게 설계했다.
핵심 요약
바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. 사전학습 종료 직후의 가중치를 제공하므로, 도메인 적응·명령어 튜닝·강화학습 연구의 출발점으로 사용 가능하다. 모델은 효율성을 최우선으로 설계했다. 43개 레이어 중 37개는 128배 압축된 시퀀스를 처리하는 HCA(Heavily Compressed Attention)를 사용하고, 6개만 전체 컨텍스트에 접근하는 MLA(Multi-head Latent Attention)를 사용한다. 전체 요약 10문장 읽기 → 011 03:11 ▲ 144 · 댓글 28 킴(Kimi) K3.1 Pro 오픈 가중치 공개 쿼크(夸克)가 개발한 Kimi K3.1 Pro는 오픈 가중치 멀티모달 에이전트 모델로, 백 개가 넘는 하위 도메인에서 대규모 강화학습으로 K3에서 후학습했다. AI · 머신러닝 · Kimi K3.1 Pro model weights are out
Key Point 중국 AI 스타트업이 공개한 초대형 멀티모달 모델의 가중치가 외부에 공개되어 오픈소스 커뮤니티에서 자유롭게 실험·파인튜닝할 수 있게 됐고, OpenAI·Anthropic 모델들과의 벤치마크 비교를 통해 오픈 모델의 현재 수준을 파악할 수 있다.
핵심 요약
쿼크(夸克)가 개발한 Kimi K3.1 Pro는 오픈 가중치 멀티모달 에이전트 모델로, 백 개가 넘는 하위 도메인에서 대규모 강화학습으로 K3에서 후학습했다. 100만 토큰 컨텍스트 윈도우를 지원하며, 코딩·3D 생성·금융 조사·사실 정확도·에이전트 기능 등에서 큰 개선을 이뤄냈다. 총 파라미터 2.8T, 활성화 파라미터 104B, 93개 레이어, 전문가 896개(토큰당 16개 활성화)의 Mixture-of-Experts 아키텍처를 사용한다. 전체 요약 10문장 읽기 → 012 06:11 ▲ 116 · 댓글 10 LLM의 '잠자기' 단계로 지속학습과 기억력 문제 해결 구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다. AI · 머신러닝 · Sleep framework: A new way for LLMs to retain knowledge in continual learning
Key Point LLM이 새로운 정보를 학습하면서 기존 지식을 잃지 않고 맥락도 10배 이상 확장하는 핵심 기술이 어떻게 작동하는지 이해할 수 있고, 산업 배포된 모델의 적응력 문제를 근본적으로 해결하는 가능성을 보여준다.
핵심 요약
구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다. 기존 LLM은 배포 후 고정된 학습 시점을 유지하거나, 문맥 윈도우 내에서만 정보를 보유하는 한계가 있고, 새로운 데이터로 업데이트하면 이전 학습 내용을 잊는 '재앙적 망각(catastrophic forgetting)' 문제가 발생한다. 수면 프레임워크는 활동(깨어있는) 단계와 오프라인 메모리 통합(수면) 단계를 번갈아가며 작동한다. 전체 요약 13문장 읽기 → 013 21:11 ▲ 28 · 댓글 3 증거 연결로 멀티모달 인식 일반화시키는 EvidenceConnect 멀티모달 인식의 핵심은 관련 시각 정보를 식별하고, 엔티티와 바인딩하고, 관계를 회복해 답을 구성하는 '증거 연결' 능력이다. AI · 머신러닝 · Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception
Key Point 멀티모달 모델의 세부 인식과 공간 이해를 동시에 개선하는 데이터 합성 기법이 소개되면서, VLM 학습의 효율성과 일반화 성능을 어떻게 높일 수 있는지 보여준다.
핵심 요약
멀티모달 인식의 핵심은 관련 시각 정보를 식별하고, 엔티티와 바인딩하고, 관계를 회복해 답을 구성하는 '증거 연결' 능력이다. EvidenceConnect는 한 이미지 내 관련 영역의 줌 뷰를 활용해 시각 증거의 비교·집계·체이닝을 요구하는 학습 데이터를 자동 생성한다. 데이터 품질 보증을 위해 독립적인 VLM들이 합의한 정답만 유지하고, 영역 제거 테스트로 특정 영역 제거해도 답변이 유지되는 문제를 걸러낸다. 전체 요약 6문장 읽기 → 014 12:10 ▲ 106 · 댓글 26 구글 제미나 모델의 추론 토큰 39% 줄이면서 성능 유지 BottleCapAI가 구글의 Gemma-4-26B-A4B 모델을 최적화한 ThinkingCap 버전을 공개했다. AI · 머신러닝 · Gemma-4-26B-A4B with 39-69% less thinking at same accuracy
Key Point 추론 단계를 줄이면서도 정확도를 유지하는 최적화 기법이 실제로 작동함을 보여주므로, LLM 배포 비용과 지연시간을 줄이려는 팀들의 실질적 선택지가 확보된다.
핵심 요약
BottleCapAI가 구글의 Gemma-4-26B-A4B 모델을 최적화한 ThinkingCap 버전을 공개했다. 추론 토큰을 평균 38.9% 줄였으며 최대 69.1%까지 감소시킨 벤치마크도 있다. 12개 벤치마크 평균 정확도는 75.18%에서 75.03%으로 0.15pp만 하락했다. 전체 요약 12문장 읽기 → 015 18:11 ▲ 28 · 댓글 2 메모리 간섭 줄인 선형 어텐션, 장문맥 모델링에 강하다 KronLSTM이라는 새로운 선형 어텐션 아키텍처를 제안했으며, 크로네커 델타 규칙이라는 연관 행렬 메모리의 신규 업데이트 규칙을 기반으로 한다. AI · 머신러닝 · Kronecker Delta Rule for Long Context Linear Attention
Key Point 메모리 간섭을 크게 줄이면서 안정성까지 갖춘 선형 어텐션이 장문맥 모델링 성능에서 기존 방식을 앞서면서, 대형 언어모델의 효율적인 장문맥 처리 방식이 진화하고 있음을 보여준다.
핵심 요약
KronLSTM이라는 새로운 선형 어텐션 아키텍처를 제안했으며, 크로네커 델타 규칙이라는 연관 행렬 메모리의 신규 업데이트 규칙을 기반으로 한다. xLSTM 계열을 확장해 메모리 수정 메커니즘을 추가했으며, 특정 연관성을 정정하면서도 행렬 공간의 단일 방향으로만 메모리를 변경한다. 이러한 최소한의 침습적 메모리 수정 방식은 기존 델타 규칙 업데이트 대비 이전에 저장된 정보와의 간섭을 줄여 장문맥 언어 모델링에 적합하다. 전체 요약 8문장 읽기 → 016 15:11 ▲ 20 · 댓글 2 에이전트 AI 추론을 위한 '히스토리 프리' 추측 디코딩 DLite 추측 디코딩은 경량 드래프트 모델로 토큰을 생성하고 타겟 모델이 검증하는 방식으로 LLM 추론을 가속화하는 기법이지만, 에이전트 AI 워크로드의 긴 맥락과 다중 턴 상호작용에서는 드래프트 모델의 토큰 승인률이 최대 80% 저하된다. AI · 머신러닝 · DLite: History-free Speculative Decoding for Agentic AI
Key Point 에이전트 AI 같은 긴 맥락의 상호작용형 워크로드에서 LLM 추론 속도를 크게 높일 수 있는 새로운 접근 방식을 제시합니다.
핵심 요약
추측 디코딩은 경량 드래프트 모델로 토큰을 생성하고 타겟 모델이 검증하는 방식으로 LLM 추론을 가속화하는 기법이지만, 에이전트 AI 워크로드의 긴 맥락과 다중 턴 상호작용에서는 드래프트 모델의 토큰 승인률이 최대 80% 저하된다. 기존 방식은 역사적 KV 캐시를 유지함에 따라 시스템 오버헤드가 커진다. 연구팀은 증가하는 역사적 맥락이 두 문제의 공통 원인임을 파악하고, DLite라는 '히스토리 프리' 추측 디코딩 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 017 03:11 ▲ 11 · 댓글 2 선형 시간 희소 어텐션으로 컨텍스트 길이 확장하기 선형 시간 시퀀스 모델들은 고정된 크기의 상태에 정보를 저장하기 때문에 장문맥 처리에 제약이 있고, 전체 어텐션을 추가하면 이차 비용이 발생한다. AI · 머신러닝 · FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation
Key Point 트랜스포머의 근본적 한계인 이차 복잡도 문제를 해결하면서도 학습 데이터보다 긴 입력에서도 작동하는 새로운 어텐션 메커니즘의 제안으로, LLM의 컨텍스트 길이 확장이 시급한 현실에서 실질적 개선을 제시한다.
핵심 요약
선형 시간 시퀀스 모델들은 고정된 크기의 상태에 정보를 저장하기 때문에 장문맥 처리에 제약이 있고, 전체 어텐션을 추가하면 이차 비용이 발생한다. 지속적 사전학습(CPT)을 통한 희소 어텐션은 컨텍스트 길이를 늘릴 수 있지만 학습된 길이를 넘어 일반화하기 어렵고 비용이 크다. FreeSolo는 단거리 슬라이딩 윈도우 분기와 키포인트 셀을 선택하는 장거리 분기로 구성된 네이티브 희소 어텐션 메커니즘이다. 전체 요약 6문장 읽기 → 018 12:11 ▲ 12 · 댓글 2 토큰 수준의 선택 정확도와 실행 효율을 동시에 해결한 희소 어텐션 긴 문맥에서 LLM 추론 시 KV-캐시 통신량을 줄이는 희소 어텐션 기법들은 주로 높은 단위의 선택만 가능하던 한계가 있었다. AI · 머신러닝 · Joint Subspace Sparse Attention for Efficient Long-Context Decoding
Key Point 토큰 단위 선택의 정확도와 실행 속도 사이의 오래된 트레이드오프를 동시에 해결해 실용적인 장문맥 추론 가속이 가능해진다.
핵심 요약
긴 문맥에서 LLM 추론 시 KV-캐시 통신량을 줄이는 희소 어텐션 기법들은 주로 높은 단위의 선택만 가능하던 한계가 있었다. 저해상도 점수 부여로는 쿼리-키 구조 정보가 손실되어 정확한 랭킹이 어렵고, 선택된 토큰들을 모으는 과정에서 레이턴시 이득이 상쇄되는 문제가 있었다. Joint Subspace Sparse Attention (JSSA)은 공유 저차원 쿼리-키 부분공간을 학습해 토큰 점수 보존 오차를 최소화함으로써 선택 품질을 개선한다. 전체 요약 8문장 읽기 → 019 18:11 ▲ 35 · 댓글 2 완전 공개 멀티모달 모델 Apertus 1.5 출시 Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. AI · 머신러닝 · Apertus 1.5: From Open Text Models to Open Multimodal Reasoners
Key Point 공개 데이터로만 학습한 완전히 오픈소스 멀티모달 모델의 등장으로, 소수 기업 종속에서 벗어날 수 있는 대안이 실제 규모에서 가능함을 보여준다.
핵심 요약
Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. 8B 모델에 4T개, 70B 모델에 2T개 토큰을 추가 학습해 이미지와 음성 이해 능력을 추가했으며, 컨텍스트 윈도우를 262,144 토큰으로 4배 확대했다. 토크나이저를 통해 멀티모달 입력을 처리하되 언어 모델 헤드는 텍스트만 출력하고 아키텍처는 유지했다. 전체 요약 9문장 읽기 → 020 00:11 ▲ 13 · 댓글 2 긴 문맥 이해를 위한 강화학습 프레임워크 LongR LLM의 장문맥 추론 능력을 강화하기 위해 강화학습(RL)을 적용하는 연구로, 기존의 희소한 결과 기반 보상만으로는 복잡한 추론을 효과적으로 유도하기 어렵다는 문제를 해결합니다. AI · 머신러닝 · LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards
Key Point 장문맥 환경에서 LLM의 추론 능력을 강화하는 실질적인 방법을 제시하며, 기존 희소 보상 방식의 한계를 극복한 구체적인 해결책을 보여줍니다.
핵심 요약
LLM의 장문맥 추론 능력을 강화하기 위해 강화학습(RL)을 적용하는 연구로, 기존의 희소한 결과 기반 보상만으로는 복잡한 추론을 효과적으로 유도하기 어렵다는 문제를 해결합니다. 제안하는 LongR 프레임워크는 '생각과 읽기(Think-and-Read)' 메커니즘을 통해 추론 과정 중 필요할 때 문서를 참고하는 방식으로 작동합니다. 상대적 정보 이득(relative information gain)을 기반으로 한 맥락 기반 밀도 보상을 도입하여, 증거 주석 없이도 관련 문서의 유용성을 정량화합니다. 전체 요약 5문장 읽기 → 021 15:11 ▲ 150 · 댓글 67 Intel, 에이전트 AI 전용 D270 GPU 공개…최대 480GB LPDDR5X 메모리 인텔이 AI 추론 전용 데이터센터 GPU 'D270'을 발표했다. 하드웨어 · 시스템 · Intel D270 GPU AI Accelerator–Up to 480 GB LPDDR5X
Key Point 에이전트 AI 시대 장문맥·고동시성 추론의 메모리 병목을 겨냥한 표준 인프라 기반 GPU로, NVIDIA 중심 시장에 대안을 제시하는 시점의 신제품이다.
핵심 요약
인텔이 AI 추론 전용 데이터센터 GPU 'D270'을 발표했다. D270은 최대 480GB LPDDR5X 메모리, 32개 Xᵉ3P 코어, 256개 XMX 매트릭스 엔진을 탑재하고 350W 공기냉식으로 동작한다. 에이전트 AI 워크로드의 특징인 긴 컨텍스트, 다중 단계 작업, 프리필 중심 연산에 최적화됐다. 전체 요약 8문장 읽기 → 022 15:11 ▲ 38 · 댓글 5 장문맥 에이전트의 이력 압축, 소프트 메모리 토큰으로 해결 장시간 작업하는 에이전트는 유한한 컨텍스트 윈도우 내에서 계속 작동하기 위해 이력을 압축해야 하는데, 텍스트 요약만으로는 모든 의사결정을 지원하기 어렵다. AI · 머신러닝 · REMORY: Learning Residual Memory for Context Compaction
Key Point LLM 기반 장시간 에이전트의 컨텍스트 제약을 해결하는 새로운 접근법으로, 입력 토큰을 극적으로 줄이면서 의사결정 품질을 유지하는 방법을 제시한다.
핵심 요약
장시간 작업하는 에이전트는 유한한 컨텍스트 윈도우 내에서 계속 작동하기 위해 이력을 압축해야 하는데, 텍스트 요약만으로는 모든 의사결정을 지원하기 어렵다. REMORY는 요약을 보완하는 제한된 길이의 소프트 메모리 토큰 시퀀스를 생성하는 신경 메모리 네트워크로, 전체 이력이 있을 때 LLM이 생성할 결과를 시뮬레이션하도록 학습된다. 이 토큰들은 요약을 기반으로 조건화되며 요약 뒤에 추가되어 시퀀스 차원의 잔차 연결 형태를 만든다. 전체 요약 6문장 읽기 → 023 12:11 ▲ 111 · 댓글 25 스텝펀의 1백만 토큰 초대형 컨텍스트 모델 Step 5 Preview 공개 스텝펀이 에이전틱 작업 전용 플래그십 모델 Step 5 Preview를 OpenRouter를 통해 공개했다. AI · 머신러닝 · Step 5 Preview, a 1M-context MoE from StepFun, shows up on OpenRouter
Key Point 1백만 토큰의 초대형 컨텍스트로 긴 문서와 코드베이스를 한 번에 처리할 수 있어, AI 에이전트 구축과 복잡한 소프트웨어 엔지니어링 작업을 크게 단순화한다.
핵심 요약
스텝펀이 에이전틱 작업 전용 플래그십 모델 Step 5 Preview를 OpenRouter를 통해 공개했다. 27B 활성/600B 총 파라미터의 스파스 Mixture-of-Experts 아키텍처로 설계되었으며, 소프트웨어 엔지니어링과 재무 분야에서 강점을 보인다. 1,000,000 토큰의 초대형 컨텍스트 윈도우를 지원하며 최대 64,000개의 생성 토큰을 처리할 수 있다. 전체 요약 10문장 읽기 → 024 18:30 ▲ 30 · 댓글 2 장문맥 하이브리드 모델의 동작 원리 분석 LLM의 아키텍처가 전체 어텐션만 사용하던 기존 방식에서 슬라이딩 윈도우 어텐션(SWA)과 선형 어텐션(LA) 등을 결합한 하이브리드 모델로 전환되고 있다. AI · 머신러닝 · Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
Key Point 하이브리드 어텐션이 장문맥 처리에서 어떤 메커니즘으로 작동하는지, 슬라이딩 윈도우와 선형 어텐션 중 어느 것을 선택할지 결정하는 기준이 명확히 제시되었기 때문이다.
핵심 요약
LLM의 아키텍처가 전체 어텐션만 사용하던 기존 방식에서 슬라이딩 윈도우 어텐션(SWA)과 선형 어텐션(LA) 등을 결합한 하이브리드 모델로 전환되고 있다. 본 논문은 하이브리드 모델이 작동하는 이유를 규명하고 더 효과적으로 설계하기 위해 '장문맥 하이브리드 모델의 역학'을 제안한다. 전체 어텐션과 SWA, 또는 GLA·GDN 같은 게이팅 선형 어텐션을 결합한 하이브리드에서 씨소 효과(Seesaw Effect)를 관찰했다: LA 하이브리드는 장문맥 지속 학습에서 더 유리하고 SWA 하이브리드는 길이 외삽에서 더 잘 작동한다. 전체 요약 6문장 읽기 → 025 18:33 ▲ 14 · 댓글 3 에이전트 메모리를 자동 진화시키는 새로운 방법 에이전트의 메모리 시스템을 작업 피드백으로 자동 개선하는 메모리 자가진화 기법의 한계를 개선한 논문이다. AI · 머신러닝 · Capability-Driven Self-Evolution of Agent Memory
Key Point 기존 에이전트 메모리 최적화의 근본적 문제점을 능력별 분석으로 해결하는 방식이 신경망 기반 최적화와 다르고, 장문맥 처리에서 눈에 띄는 성능 향상을 보여준다.
핵심 요약
에이전트의 메모리 시스템을 작업 피드백으로 자동 개선하는 메모리 자가진화 기법의 한계를 개선한 논문이다. 기존 방식은 전체 성능만 보고 진화 방향을 정하는 홀리스틱 진화를 써 왔는데, 능력별 개선 효과를 놓치고 일부 영역의 후퇴가 전체 성능을 가린다. 이 논문은 능력 기반 진화(capability-driven evolution)를 제안해 전체 성능 대신 개별 능력 차원별로 탐색을 안내한다. 전체 요약 6문장 읽기 → 026 18:33 ▲ 21 · 댓글 2 단일 모델로 검색과 장문맥 처리 통합하는 UNREAL 말뭉치 검색(RAG)과 장문맥 추론은 증거 선택을 서로 다른 규모로 처리하는데, 이를 통일할 수 있는지 묻는 논문이다. AI · 머신러닝 · UNREAL: Unifying Retrieval and Long-Context with a Single Model
Key Point 대규모 언어모델의 검색과 장문맥 처리라는 두 가지 핵심 문제를 하나의 메커니즘으로 해결하는 새로운 접근으로, 생성 효율성과 정확도를 동시에 개선하는 경로를 제시한다.
핵심 요약
말뭉치 검색(RAG)과 장문맥 추론은 증거 선택을 서로 다른 규모로 처리하는데, 이를 통일할 수 있는지 묻는 논문이다. UNREAL은 LLM의 내부 표현에서 청크를 인코딩하고 검색 쿼리를 직접 도출하는 모델 내재 증거 선택 프레임워크다. 500K개 미만의 학습 가능 파라미터를 추가하며 기본 LLM은 수정하지 않는다. 전체 요약 9문장 읽기 → 027 06:11 ▲ 26 · 댓글 2 3차원 텐서 상태로 장문맥 처리하는 선형 어텐션 RNN의 선형 어텐션은 고정 크기 메모리 상태로 장문맥을 압축해 일정한 시간에 추론하는데, 메모리 상태 크기가 성능을 좌우한다. AI · 머신러닝 · Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Key Point 선형 어텐션의 메모리 효율성을 유지하면서 상태 차원을 3차원으로 확장하는 기술적 혁신으로, 장문맥 시퀀스 모델링에서 성능과 효율성의 균형을 새로 정의한다.
핵심 요약
RNN의 선형 어텐션은 고정 크기 메모리 상태로 장문맥을 압축해 일정한 시간에 추론하는데, 메모리 상태 크기가 성능을 좌우한다. 기존 선형 어텐션은 키·벨류 벡터의 외적으로 행렬 크기 상태를 만들었으나, 새로운 방법은 키·두 번째 키·벨류의 3중 외적으로 3차원 텐서 상태를 작성한다. 두 개의 쿼리로 텐서의 두 키 축을 수축(contraction)해 읽어내며, E차원의 두 번째 키로 상태 크기를 E배 늘리면서 파라미터 프로젝션은 단 2개만 추가한다. 전체 요약 5문장 읽기 → 028 03:11 ▲ 57 · 댓글 2 여러 LLM을 조합한 멀티에이전트, KV 캐시 공유로 10배 빠르게 Llama, Mistral 등 서로 다른 모델을 조합하는 멀티에이전트 LLM 시스템에서, 송신자의 처리된 문맥을 수신자가 다시 처리(prefill)하는 중복 비용이 발생한다. AI · 머신러닝 · Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
Key Point 서로 다른 LLM을 조합하는 멀티에이전트 시스템에서 구조적 차이를 극복하고 캐시 재사용으로 최대 10배의 속도 향상을 달성한 방식이 처음 제시되었습니다.
핵심 요약
Llama, Mistral 등 서로 다른 모델을 조합하는 멀티에이전트 LLM 시스템에서, 송신자의 처리된 문맥을 수신자가 다시 처리(prefill)하는 중복 비용이 발생한다. 논문은 HeteroFold라는 방식을 제안했다. 토큰화·모델 깊이·KV 표현의 차이를 처리하면서 양쪽 모델을 그대로 두고 KV 캐시를 다른 모델 족으로 이전한다. HeteroFold는 구조를 정렬하고, 송신자의 캐시를 수신자 공간으로 매핑한 뒤, 수신자의 동작을 유지하도록 보정한다. 전체 요약 6문장 읽기 → 029 00:11 ▲ 107 · 댓글 19 독일 Aleph Alpha, 주권형 언어모델 Kolibri 공개 Aleph Alpha가 78B 총 파라미터(3B 활성화)의 영-독일 이중언어 Mixture-of-Experts 모델 Kolibri를 공개했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원하고 Apache 2.0 라이선스로 Hugging Face에서 다운로드 가능하다. AI · 머신러닝 · Kolibri Has Landed: A Sovereign Open-Weight Model
Key Point EU 규제에 맞춘 독일 기업의 오픈소스 모델이 소규모 활성 파라미터로 대형 모델을 능가하는 성능을 달성했으며, 투명한 공급망과 온프레미스 배포로 정부·산업 고객의 데이터 주권을 보장하는 새로운 접근 방식을 보여준다.
핵심 요약
Aleph Alpha가 78B 총 파라미터(3B 활성화)의 영-독일 이중언어 Mixture-of-Experts 모델 Kolibri를 공개했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원하고 Apache 2.0 라이선스로 Hugging Face에서 다운로드 가능하다. Kolibri는 정부·산업·항공우주 등 규제 대상 영역의 임무 수행을 위해 독일어, 추론, 수학, 에이전트 행동에 최적화되었으며, 개별 고객의 사용 사례에 맞춘 성능을 제공한다. 모델은 공급망 투명성, 독일 및 핀란드 인프라 기반 운영, 완전한 배포 자유도를 제공하여 주권성을 확보했으며, EU AI법과 GDPR 준수를 설계 초기부터 반영했다. 전체 요약 13문장 읽기 → 030 21:11 ▲ 29 · 댓글 2 LLM으로 상품 검색 정확도 높이는 카탈로그 최적화 기법 소규모 온라인 상점들은 전체 카탈로그를 LLM의 장문맥 윈도우에 집어넣는 방식을 사용할 수 있으나, 단순히 포함시키는 것만으로는 모델이 정보를 효과적으로 활용하지 못한다. AI · 머신러닝 · RPTune: Learned Context Curation for LLM Catalog Search
Key Point 소규모 상점의 상품 검색 정확도를 대폭 높일 수 있는 실용적 기법이며, 장문맥 LLM을 실제 전자상거래에 활용하는 방식을 제시한다.
핵심 요약
소규모 온라인 상점들은 전체 카탈로그를 LLM의 장문맥 윈도우에 집어넣는 방식을 사용할 수 있으나, 단순히 포함시키는 것만으로는 모델이 정보를 효과적으로 활용하지 못한다. RPTune은 카탈로그 구성 방식을 학습하고 LLM을 미세조정하는 통합 프레임워크로, 자동 생성된 카탈로그 기반 감독 신호를 사용한다. 인코더-재정렬기 큐레이터가 다운스트림 LLM 피드백에 따라 상품을 순서대로 정렬하고 불필요한 항목을 제거한다. 전체 요약 6문장 읽기 → 031 09:11 ▲ 10 · 댓글 2 긴 시퀀스 처리의 한계, 분수 동역학으로 해결 State Space Models(SSM)는 시퀀스 히스토리를 제한된 크기의 상태로 압축하는데, 기존 ODE 기반 SSM은 지수 감쇠를 사용하여 오랜 시간에 걸친 정보 보유 능력이 제한된다. AI · 머신러닝 · Fractional State Space Transition for Long Sequence Modeling
Key Point State Space Model의 메모리 구조 한계를 해결하는 새로운 접근이 긴 문맥 처리 능력을 크게 높이므로, 대규모 언어 모델의 성능 향상에 직결된다.
핵심 요약
State Space Models(SSM)는 시퀀스 히스토리를 제한된 크기의 상태로 압축하는데, 기존 ODE 기반 SSM은 지수 감쇠를 사용하여 오랜 시간에 걸친 정보 보유 능력이 제한된다. 연구팀이 제시한 FRAC은 분수 동역학에서 파생된 선택적 SSM으로, 지수 감쇠를 멱법칙 기반 장기 메모리로 대체한다. FRAC은 무거운 꼬리 분포 커널을 log-space로 배치된 유한 개의 지수 모드의 합으로 근사하여, 분수 동역학을 실용적인 순환 모듈로 변환한다. 전체 요약 6문장 읽기 → 032 06:11 ▲ 24 · 댓글 2 거대한 정보 공간에서 멀티에이전트 협력을 효율화하는 ANTMAN 정보 검색 에이전트들이 처리할 수 없을 정도로 큰 정보 공간에서 동작하는데, 기존 멀티에이전트 시스템은 정보 공간을 정적으로 분할하면서 조정 비용이 필요한 쿼리 요구사항이 아니라 분할 방식에 따라 증가하는 문제가 있다. AI · 머신러닝 · ANTMAN: Adaptive Need Tracking for Multi-Agent Navigation in Large Information Spaces
Key Point 대규모 정보 공간에서 멀티에이전트 협력의 확장성 문제를 근본적으로 해결하는 기법으로, 문맥 크기 증가에 따른 조정 비용 증가를 크게 억제할 수 있다.
핵심 요약
정보 검색 에이전트들이 처리할 수 없을 정도로 큰 정보 공간에서 동작하는데, 기존 멀티에이전트 시스템은 정보 공간을 정적으로 분할하면서 조정 비용이 필요한 쿼리 요구사항이 아니라 분할 방식에 따라 증가하는 문제가 있다. ANTMAN은 해결되지 않은 정보 요구사항을 실행 시점의 협력 단위로 삼는 적응형 조정 프레임워크를 제시한다. Need Graph라는 수정 가능한 그래프를 유지하여 해결되지 않은 요구사항, 축적된 증거, 이전 시도, 검색 진행 상황을 추적한다. 전체 요약 8문장 읽기 → 033 03:11 ▲ 23 · 댓글 1 텍스트를 선택적으로 압축하는 FocusVTC, 긴 문맥 처리 속도 2.79배 향상 대규모 언어모델의 장문맥 처리는 계산과 메모리 비용이 큰데, 시각 텍스트 압축(VTC)은 텍스트를 이미지로 렌더링해 입력 길이를 줄인다. AI · 머신러닝 · FocusVTC: Efficient and High-Performance Visual Text Compression with Adaptive Resolution
Key Point 긴 문맥을 처리하는 LLM 서비스에서 입력 토큰 수를 2.9배 줄이면서도 성능을 높이고 추론 속도를 2.79배 가속하는 방법이 제시되었으므로, 비용과 속도가 중요한 실제 배포 환경에서 직접 적용할 가치가 있다.
핵심 요약
대규모 언어모델의 장문맥 처리는 계산과 메모리 비용이 큰데, 시각 텍스트 압축(VTC)은 텍스트를 이미지로 렌더링해 입력 길이를 줄인다. 기존 방식은 해상도를 고정하므로 저DPI는 토큰을 절약하지만 가독성을 잃고, 고DPI는 불필요한 내용에 토큰을 낭비하는 문제가 있다. FocusVTC는 적응형 해상도로 이 트레이드오프를 깨뜨렸고, 압축된 저DPI 전역 뷰와 선택적 영역 강화를 결합한다. 전체 요약 9문장 읽기 → 034 03:11 ▲ 343 · 댓글 342 중국 AI 연구소의 최적화 기술, 서방 기업들이 조용히 도입 중 Anthropic과 OpenAI가 중국 AI 연구소의 기술을 모방한다고 지적하지만, 중국 연구소들은 오히려 자신들의 혁신 기술을 공개하고 있다. AI · 머신러닝 · The AI Race Just Got Awkward
Key Point 서방 AI 기업들이 중국 연구소의 혁신 기술을 도입하면서 장문맥 처리 비용이 급격히 내려가고 있으며, 이는 AI 산업 경쟁 구도의 근본적 변화를 보여준다.
핵심 요약
Anthropic과 OpenAI가 중국 AI 연구소의 기술을 모방한다고 지적하지만, 중국 연구소들은 오히려 자신들의 혁신 기술을 공개하고 있다. DeepSeek이 공개한 KV 캐시 최적화 기술은 긴 문맥을 처리하는 작업에서 캐시 크기를 437배까지 줄였다. MLA 아키텍처로 15배 압축에 성공한 후, CSA, HCA 등의 기법을 거쳐 최신 DeepSeek-V4.1-Flash는 토큰당 890바이트로 캐시를 단축했다. 전체 요약 7문장 읽기 → 035 00:11 ▲ 27 · 댓글 2 모델이 자기 맥락을 관리하는 CLM 제안 언어 모델이 자신의 맥락을 파일처럼 다루며 자유롭게 업데이트하도록 하는 Context Language Models(CLMs)를 제안했다. AI · 머신러닝 · Context Language Models
Key Point LLM의 장문맥 처리 방식을 근본적으로 바꾸는 접근법으로, 맥락 관리 오버헤드를 줄이면서 멀티에이전트 시스템 구현도 용이하게 한다.
핵심 요약
언어 모델이 자신의 맥락을 파일처럼 다루며 자유롭게 업데이트하도록 하는 Context Language Models(CLMs)를 제안했다. CLM은 맥락에서 유지할 정보를 학습하고, 여러 에이전트의 맥락이 파일로 공존하는 멀티에이전트 시스템으로 자연스럽게 확장된다. 기존 모델로 제로샷 구축한 CLM은 여러 벤치마크에서 기존 최고 성능 대비 우수한 결과를 냈다: BrowseComp-Plus에서 11.4% 높은 정확도에 21.5% 적은 연산량, 12시간 EdgeBench에서 5% 높은 점수에 59% 적은 연산량. 전체 요약 7문장 읽기 → 036 21:11 ▲ 59 · 댓글 1 CoWindow: 주의 메커니즘의 중복 계산을 줄인 구조화된 어텐션 기존 Full Attention 방식은 모든 어텐션 헤드가 전체 인과 히스토리를 반복 처리하면서 중복 계산과 메모리 오버헤드가 발생한다. AI · 머신러닝 · CoWindow Attention: Full Causal Coverage Is a Collective Property
Key Point 효율적인 장문맥 처리가 필수인 생성형 AI에서 Full Attention의 중복 계산을 제거하면서도 성능을 유지하는 방법이 제시되었으므로, 스케일링 효율성을 개선하려는 팀들의 관심을 받을 만합니다.
핵심 요약
기존 Full Attention 방식은 모든 어텐션 헤드가 전체 인과 히스토리를 반복 처리하면서 중복 계산과 메모리 오버헤드가 발생한다. 연구팀이 제안한 CoWindow Attention(CoWA)은 KV 헤드 간에 인과 히스토리 접근을 분산시키는 구조화된 어텐션이다. 모든 헤드는 근거리 대각 윈도우와 접두사-싱크 윈도우를 공유하며, 나머지 먼 과거는 보완적 장거리 윈도우로 분할되어 전체 인과 커버리지를 달성한다. 전체 요약 10문장 읽기 → 037 18:11 ▲ 64 · 댓글 1 어텐션의 계산 효율을 높이는 MALA 메커니즘 제안 기존 Full Attention은 QK 타일 계산 후 전체 후속 경로를 실행하지만 정규화 가중치에서 대부분의 값이 무시할 수준으로 작아 비효율적이다. AI · 머신러닝 · MassAlloc Attention: Let Attention Allocate Its Own Compute
Key Point Full Attention의 비효율적 계산 패턴을 식별하고 실제 기여도 기반 할당으로 2~3배 속도 향상을 달성하면서도 모델 성능을 유지하는 방법으로, 대규모 언어 모델의 추론·학습 효율을 개선하는 데 직결된다.
핵심 요약
기존 Full Attention은 QK 타일 계산 후 전체 후속 경로를 실행하지만 정규화 가중치에서 대부분의 값이 무시할 수준으로 작아 비효율적이다. MALA(MassAlloc Attention)는 정규화된 기여도에 따라 후속 계산을 선택적으로 할당하는 퓨즈드 어텐션 프리미티브로, 순전파는 온라인 소프트맥스 정규화기를, 역전파는 최종 정규화기를 재사용한다. 하나의 공통 임계값으로 학습과 추론에서 적응적 유지(retention)가 가능하며, 8K 토큰 비교에서 생략된 질량은 0.0188%로 기준 오라클의 0.0182%에 근접한다. 전체 요약 7문장 읽기 → 038 15:11 ▲ 20 · 댓글 2 장문맥 처리의 병목 풀다…로그 선형 복잡도 블록 스파스 어텐션 언어모델을 긴 문맥에 맞추려면 셀프 어텐션의 이차 비용이 제약이 된다. AI · 머신러닝 · Block Sparse Attention with Log-Linear Complexity
Key Point 장문맥 처리가 핵심인 LLM 개발에서 어텐션 계산량을 획기적으로 줄이는 알고리즘이 나왔기 때문에, 모델 확장성과 추론 속도에 영향을 받는 엔지니어와 연구자들이 눈여겨봐야 한다.
핵심 요약
언어모델을 긴 문맥에 맞추려면 셀프 어텐션의 이차 비용이 제약이 된다. 블록 스파스 어텐션은 효율적 대안이지만, 유지할 블록을 선택하는 과정이 여전히 이차 복잡도다. 논문은 PISA라는 피라미드 Top-K 선택 전략을 제안해 후보를 단계적으로 좁혀나간다. 전체 요약 7문장 읽기 → 039 16:56 ▲ 114 · 댓글 8 DeepSeek, KV 캐시 압축으로 추론 속도 420 토큰/초 달성 DeepSeek-v4.1 Flash는 552B 매개변수 멀티모달 모델로, 에이전트 워크플로우에서 증가하는 컨텍스트와 도구 호출로 인한 프리필 계산 부담을 해결하기 위해 설계됐다. AI · 머신러닝 · DeepSeek-v4.1 Flash: Pushing the Limits of KV Cache Compression
Key Point 에이전트 워크플로우에서 일반적인 병목인 장문맥 프리필 계산과 KV 캐시 저장 비용을 획기적으로 줄인 새로운 모델 아키텍처 설계가 장기 맥락 처리와 배포 비용 절감에 어떻게 영향을 미치는지 보여준다.
핵심 요약
DeepSeek-v4.1 Flash는 552B 매개변수 멀티모달 모델로, 에이전트 워크플로우에서 증가하는 컨텍스트와 도구 호출로 인한 프리필 계산 부담을 해결하기 위해 설계됐다. KV 캐시 압축을 위해 채널·시퀀스·레이어 세 차원에서 최적화를 진행했으며, 같은 시퀀스 길이에서 런타임 KV 캐시는 v4-Flash의 1/4, 영구 저장소는 1/8 수준으로 줄었다. Causal Encoder-Decoder(CED) 아키텍처를 도입해 프리필 단계에서 8B, 디코딩 단계에서 16B 매개변수만 활성화되도록 설계했으며, 이는 입력 중심의 에이전트 시나리오에 특히 효율적이다. 전체 요약 12문장 읽기 → 040 09:10 ▲ 108 · 댓글 61 매직, 1조 파라미터 모델을 10배 저비용으로 학습하는 기법 공개 Magic은 계산 효율을 10배 이상 개선한 사전학습 방법론을 발표했으며, DeepSeek V4 Pro Base와 동등한 성능을 GPT-3 학습량의 약 절반인 약 50배 적은 연산으로 달성했다. AI · 머신러닝 · Compute-efficient pretraining and scaling to trillion-parameter models
Key Point 알고리즘 효율성으로 대규모 모델을 저비용에 훈련하는 것이 가능함을 입증한 첫 구체적 사례로, 개발 리소스가 제한된 팀의 모델 개발 전략을 바꿀 수 있다.
핵심 요약
Magic은 계산 효율을 10배 이상 개선한 사전학습 방법론을 발표했으며, DeepSeek V4 Pro Base와 동등한 성능을 GPT-3 학습량의 약 절반인 약 50배 적은 연산으로 달성했다. 추가로 10배 규모로 확장한 모델(약 $4M 비용)은 퍼플렉시티 평가에서 공개된 모든 오픈 기본 모델을 능가했으며, 동일 성능을 DeepSeek의 방식으로 훈련하려면 $100M 이상이 소요된다. 모델 아키텍처, 최적화기, 학습 목표, 데이터 큐레이션 등 수십 가지 변경 사항이 누적되어 효율성을 달성했으며, 작은 모델에서 효과 있는 기법이 대규모 모델에서는 작동하지 않는 경우도 발견했다. 전체 요약 5문장 읽기 →