쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
17건 · "추론 효율"조건 지우기 ×
001 12:11 ▲ 11 · 댓글 3 확산 모델의 토큰 선택 정책, 숨은 상태와 신뢰도로 최적화 마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. AI · 머신러닝 · What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
Key Point 마스크 확산 모델의 속도 최적화는 LLM 추론 효율성 개선의 핵심 과제인데, 이 논문이 정책 설계의 구체적인 선택지(교사 신호, 입력 특성, 정책 크기)를 실험으로 검증하고 실용적인 기준(10% NFE 감소)을 제시한다.
핵심 요약
마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. 연구진은 감독 학습 정책을 디코딩 절차의 증류로 보고, 교사 모델이 어떤 예측을 확정 가능하다고 표시하는지, 정책이 어느 상태에서 이를 모방하는지, 정책이 무엇을 관찰하는지, 함수 평가 횟수(NFE) 감소분이 정책 오버헤드를 상쇄하려면 얼마인지를 독립적으로 분석했다. 최종 출력과 일치하는 예측을 확정 가능으로 표시하는 것은 NFE가 낮을 때 지나치게 허용적이며, 숨은 상태는 단독으로는 약하지만 신뢰도로 보완할 수 있다는 것을 발견했다. 전체 요약 6문장 읽기 → 002 12:11 ▲ 11 · 댓글 2 자기 재귀로 멀티토큰 예측 효율화한 ECHO 논문 기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. AI · 머신러닝 · ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
Key Point 자동회귀 언어 모델의 학습과 추론 효율성을 동시에 높이는 핵심 알고리즘 개선으로, 기존 멀티토큰 예측의 구조적 문제를 근본적으로 해결한다.
핵심 요약
기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. ECHO는 백본의 최종 레이어 자체가 모든 예측 스텝을 담당하므로 감독 신호가 다음 토큰을 생성하는 매개변수에 직접 전달된다. 깊은 스텝의 학습 비용을 낮추기 위해 동적 깊이 샘플링(DDS)을 도입해 깊이에 따라 확률을 감쇠시킨다. 전체 요약 6문장 읽기 → 003 12:11 ▲ 12 · 댓글 3 순환 언어 모델의 구조 설계: Huginn이 Ouro를 앞서다 Transformer 블록을 논리적 깊이에 재사용하는 순환 언어 모델의 설계 요소를 분석한 논문이다. AI · 머신러닝 · Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
Key Point 순환 아키텍처는 파라미터 효율성과 추론 효율을 동시에 개선할 수 있는 차세대 언어 모델 설계 방향인데, 이 논문은 어떤 구조적 선택이 실제로 성능을 결정하는지 체계적으로 규명했기 때문이다.
핵심 요약
Transformer 블록을 논리적 깊이에 재사용하는 순환 언어 모델의 설계 요소를 분석한 논문이다. 같은 규모와 토큰 예산에서 학습한 모델들을 비교하여 재귀 배치, 입력 주입, 재귀 상태 구성의 영향을 개별적으로 측정했다. Prelude-Recurrent-Block-Coda 샌드위치 아키텍처가 문맥 추출과 추론 집약적 작업에서 일관되게 성능을 높이는 것을 확인했다. 전체 요약 8문장 읽기 → 004 03:11 ▲ 271 · 댓글 3 루프형 모델로 필요한 만큼만 생각하는 의사결정 AI 기존 의사결정 모델은 단일 포워드 패스로 한 번에 답을 내놓지만 계산 깊이가 학습 시점에 고정되어 쉬운 문제나 어려운 문제 모두 같은 연산량을 씀. AI · 머신러닝 · LEV: Thinking Fast and Deep with Looped Decision Models
Key Point 텍스트 생성 없이 레이어 루프로만 추론 깊이를 조절해 효율과 정확도를 동시에 확보하는 새로운 의사결정 모델 구조.
핵심 요약
기존 의사결정 모델은 단일 포워드 패스로 한 번에 답을 내놓지만 계산 깊이가 학습 시점에 고정되어 쉬운 문제나 어려운 문제 모두 같은 연산량을 씀. 텍스트 생성 방식 모델은 더 깊게 추론할 수 있지만 생성하는 토큰 수에 비례해 계산 비용이 늘어남. 논문이 제시한 LEV는 토큰 생성 대신 모델 레이어를 루프로 반복 실행해 더 깊은 추론을 구현함. 전체 요약 8문장 읽기 → 005 15:11 ▲ 28 · 댓글 2 텍스트와 잠재 공간을 넘나드는 하이브리드 추론 에이전트 현대 LLM 에이전트는 텍스트로만 추론하고 상호작용하지만, 잠재 공간 추론은 효율적이면서도 도구 접근과 추론 투명성이 부족한 문제를 해결하기 위해 하이브리드 추론 에이전트(HybridAgent)가 제안됐다. AI · 머신러닝 · Hybrid Reasoning Agents
Key Point LLM 에이전트의 추론 효율성과 투명성을 동시에 높이는 새로운 아키텍처로, 토큰 절감과 속도 개선이 이미 검증된 실질적인 개선 방안이다.
핵심 요약
현대 LLM 에이전트는 텍스트로만 추론하고 상호작용하지만, 잠재 공간 추론은 효율적이면서도 도구 접근과 추론 투명성이 부족한 문제를 해결하기 위해 하이브리드 추론 에이전트(HybridAgent)가 제안됐다. HybridAgent는 통합 생성 프로세스 내에서 잠재 추론과 텍스트 기반 상호작용을 동적으로 전환하며, 가벼운 HybridLink가 두 모드 간 seamless한 전환을 가능케 한다. 에이전트의 지속적 작업 메모리는 다중 턴에서 손실 없는 하이브리드 컨텍스트를 유지하고, 도구 통합 기능을 보존하면서도 잠재 사고(latent thoughts)를 직접 검사할 수 있도록 설계됐다. 전체 요약 6문장 읽기 → 006 00:11 ▲ 40 · 댓글 1 로봇 기초 모델의 한 번에 생성하는 동작 정책 K-MF 제안 로봇 기초 모델(RFM)에서 다단계 플로우 매칭의 높은 추론 지연을 극복하기 위해 한 번에 동작을 생성하는 방법을 연구했다. AI · 머신러닝 · Kinematic MeanFlow: One-Step Action Generation Policy for Robotic Foundation Models
Key Point 로봇 기초 모델의 추론 속도를 30~55% 단축할 수 있는 기법이 공개되었으므로, 실시간 로봇 제어가 필요한 현장 적용에 큰 영향을 미칠 수 있다.
핵심 요약
로봇 기초 모델(RFM)에서 다단계 플로우 매칭의 높은 추론 지연을 극복하기 위해 한 번에 동작을 생성하는 방법을 연구했다. 기존 MeanFlow 방식을 직접 적용하면 성능이 무너지는데, RFM 속도장의 두 가지 특수한 역학 때문이다: (1) '로컬 가속도'는 초기에는 안정적이지만 노이징 제거 후기에 급격히 증가, (2) 표본 간 크기의 편차가 노이징 제거가 진행될수록 확대된다. 이를 해결하기 위해 Kinematic MeanFlow(K-MF)를 제안했다. K-MF는 운동학적 항등식에 근거해 MeanFlow의 시간 미분항을 중간점으로 분리된 두 개의 부분 구간항으로 분해한다. 전체 요약 6문장 읽기 → 007 18:33 새 버전 Transformers 5.19.0, 멀티모달 임베딩과 분산학습 기능 강화 Gemma 2의 멀티모달 임베딩 모델 EmbeddingGemma2를 새로 추가했으며, 텍스트·이미지·오디오·비디오를 768차원 벡터 공간에 인코딩하고 512/256/128차원으로 축소 가능하다. AI · 머신러닝 · huggingface/transformers@v5.19.0
Key Point 멀티모달 모델 지원 확대와 분산학습 병렬화 개선으로 LLM 추론 효율이 향상되며, 주요 API 변경으로 기존 코드 마이그레이션이 필요해진다.
핵심 요약
Gemma 2의 멀티모달 임베딩 모델 EmbeddingGemma2를 새로 추가했으며, 텍스트·이미지·오디오·비디오를 768차원 벡터 공간에 인코딩하고 512/256/128차원으로 축소 가능하다. MoE(Mixture of Experts) 모델이 output_router_logits=True일 때 라우터 로짓을 반환하도록 변경되었으며, 기존 코드는 새 출력 클래스에서 로짓을 읽어야 한다. OWLv2 이미지 쿼리 선택 방식이 객체 신뢰도 점수 기준으로 변경되어 기존 기능과 결과가 달라질 수 있다. 전체 요약 7문장 읽기 → 008 18:33 ▲ 10 · 댓글 1 LLM이 숨겨진 공간에서 추론하는 법, Flow Matching으로 풀다 LLM이 연속 공간에서 사고하고 최종 답만 출력하는 잠재 추론(Latent Reasoning)에서 효과적인 잠재 사고는 5가지 조건을 만족해야 한다. AI · 머신러닝 · What Matters for Latent Reasoning with Flow Matching
Key Point LLM이 내부에서 복잡한 추론을 수행하면서도 빠른 속도를 유지하는 새로운 방식의 설계 원칙을 제시해, 추론 효율성과 성능의 트레이드오프를 다루는 핵심 기준이 될 수 있습니다.
핵심 요약
LLM이 연속 공간에서 사고하고 최종 답만 출력하는 잠재 추론(Latent Reasoning)에서 효과적인 잠재 사고는 5가지 조건을 만족해야 한다. 유용성: 올바른 답을 생성하되 단순히 바꾸지 않아야 함, 다양성: 재샘플링으로 다른 추론 경로가 나와야 함, 설명성: 디코딩한 사고의 연쇄(CoT)가 실제 추론을 반영해야 함, 개선성: 추론 계산을 늘려 성능을 높일 수 있어야 함, 효율성: 명시적 CoT 대비 비슷한 정확도에서 낮은 지연시간을 가져야 함. 기존 방법들은 이 요구사항을 거의 충족하지 못하는데, 질문에서 지름길을 배우거나 명시적 CoT를 가중치로 증류하거나 토큰 단위로 모방하는 문제가 있다. 전체 요약 7문장 읽기 → 009 06:11 ▲ 160 · 댓글 46 Reflection, 501B 파라미터 오픈소스 모델 'Beam' 공개 Reflection이 오픈가중치 희소 혼합전문가(MoE) 모델인 Beam을 발표했다. 총 501억 개 파라미터 중 23억 개만 활성화되며, 코딩·추론·에이전트 작업에 최적화됐다. AI · 머신러닝 · Beam: Reflection's 501B open-weight model
Key Point 고효율 오픈소스 에이전트 모델이 공개되며, 특히 추론 효율에서 훨씬 큰 모델과 경쟁할 수 있다는 점이 엔터프라이즈 코딩 워크로드에 미치는 영향이 크다.
핵심 요약
Reflection이 오픈가중치 희소 혼합전문가(MoE) 모델인 Beam을 발표했다. 총 501억 개 파라미터 중 23억 개만 활성화되며, 코딩·추론·에이전트 작업에 최적화됐다. Beam은 웹과 라이선스 데이터셋의 23.8조 개 토큰으로 사전학습되었으며, 10.5K NVIDIA GB300 GPU에서 4주간 RL을 실행해 1억 개 이상의 롤아웃을 생성했다. 코딩·에이전트 작업에서 GLM 5.2와 경쟁력 있는 성능을 보이며, Qwen 3.8-Max에 근접한다. 특히 추론 효율에서 우위가 있어 GLM 5.2 대비 3~4배 적은 계산량으로 유사한 추론 능력을 제공한다. 전체 요약 12문장 읽기 → 010 21:11 ▲ 78 · 댓글 2 행동 라벨 없이 영상에서 로봇 제어 정책 학습하는 NAVA-WAM 세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다. AI · 머신러닝 · Native Action-Prior Learning from Videos for World Action Models
Key Point 로봇 제어에 필수적인 행동 라벨 데이터 의존성을 제거하고 일반 영상만으로 로봇 정책을 학습하는 새로운 접근법을 제시해, 로봇 학습의 데이터 수집 병목을 해결한다.
핵심 요약
세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다. 관찰만 가능한 일반 영상에는 상호작용 역학에 대한 풍부한 정보가 있지만, 기존 방식은 이를 시각 표현 사전학습 또는 잠재 행동 추론에만 활용했다. NAVA-WAM은 행동 라벨 없는 영상에서 직접 행동 정책을 사전학습하는 '원시 행동 사전 학습(native action-prior learning)'을 도입해, 간접적인 표현-제어 전이나 별도의 잠재 행동 모델을 피한다. 전체 요약 7문장 읽기 → 011 03:11 ▲ 34 · 댓글 2 루프형 트랜스포머의 추론 효율 50% 끌어올리는 LoopCD 루프형 트랜스포머는 재귀 루프 내에서 공유 블록을 반복 실행해 매개변수 효율을 높이지만, 각 루프마다 생성되는 중간 표현은 표준 디코딩에서 버려진다. AI · 머신러닝 · Decoding Looped Transformers Better for (Almost) Free
Key Point 루프형 트랜스포머는 추론 효율을 중시하는 모바일·엣지 환경에서 주목받는데, LoopCD로 추론 계산량을 절반 가까이 줄이면서 정확도도 높일 수 있다는 것이 중요하다.
핵심 요약
루프형 트랜스포머는 재귀 루프 내에서 공유 블록을 반복 실행해 매개변수 효율을 높이지만, 각 루프마다 생성되는 중간 표현은 표준 디코딩에서 버려진다. 강한 예측과 약한 예측을 자동으로 쌍으로 제공하는 루프의 특성을 활용하면, 보조 모델이나 외부 학습 없이 디코딩을 개선할 수 있다. 연구진은 훈련 없는 대비학습 프레임워크 LoopCD를 제안했으며, 최종 예측을 이전 루프와 비교해 토큰 선택을 안내한다. 전체 요약 7문장 읽기 → 012 15:11 ▲ 10 · 댓글 2 루프형 언어 모델, 언제 반복 연산이 효과적일까 루프형 언어 모델(LoopLM)은 매개변수 공유를 통해 계산 깊이를 증가시켜 매개변수를 추가하지 않으면서 추론 연산을 확장하는 방식을 제시한다. AI · 머신러닝 · What Makes Recurrence Effective in Looped Language Models?
Key Point 루프형 언어 모델이 주목받으면서 반복 연산의 효과가 언제 나타나고 어디에 실패하는지 명확히 밝힌 실증적 가이드라인을 제시하여, 가변 추론 예산에서 효율적인 모델 설계에 필요한 기준을 제공한다.
핵심 요약
루프형 언어 모델(LoopLM)은 매개변수 공유를 통해 계산 깊이를 증가시켜 매개변수를 추가하지 않으면서 추론 연산을 확장하는 방식을 제시한다. 연구팀이 체계적 실험을 통해 반복 연산이 도움이 되는 시기, 적용 위치, 초기 상태 설정이 성능에 미치는 영향을 조사했다. 반복 연산은 훈련 범위를 넘어선 추론 작업에서는 성능을 개선하지만 지식 기반 작업에서는 성능을 저하시킨다. 전체 요약 8문장 읽기 → 013 12:11 ▲ 14 · 댓글 2 LLM 긴 문맥 추론 가속, KV 캐시 저비트 양자화 기법 WUSH-KV 컨텍스트 길이와 배치 크기가 늘어나면서 KV 캐시의 메모리와 대역폭 비용이 증가하여 긴 문맥 추론 효율이 떨어지는 문제를 해결하기 위해 WUSH-KV 기법을 제안했다. AI · 머신러닝 · WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms
Key Point 긴 문맥을 다루는 LLM의 추론 속도와 메모리 효율을 크게 개선할 수 있는 양자화 기법으로, 실제 프로덕션 환경에서 바로 적용 가능한 방법을 제시한다.
핵심 요약
컨텍스트 길이와 배치 크기가 늘어나면서 KV 캐시의 메모리와 대역폭 비용이 증가하여 긴 문맥 추론 효율이 떨어지는 문제를 해결하기 위해 WUSH-KV 기법을 제안했다. WUSH-KV는 행렬 곱셈의 두 인수에서 2차 통계량을 이용해 데이터 인식 변환을 구성하는 WUSH 방식을 KV 캐시에 적용한 것으로, 양자화 오류를 줄일 수 있다. 캘리브레이션 데이터로 key와 value에 대해 별도의 변환을 구성하며, value 변환은 모델 가중치에 포함시키고 key 변환은 RoPE 이후에 적용한다. 전체 요약 6문장 읽기 → 014 03:11 ▲ 99 · 댓글 3 KV 캐시 압축의 숨은 약점, 위치에 따라 정확도 40%p 차이 긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다. AI · 머신러닝 · Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
Key Point 긴 문맥 추론 최적화를 위해 KV 캐시 압축을 도입하면 평균 점수로는 보이지 않는 주기적 성능 저하가 발생하므로, 이 기법의 실제 안정성을 평가할 때 주의가 필요하다.
핵심 요약
긴 문맥 추론 효율을 높이기 위해 연속된 토큰들을 윈도우 단위로 압축하는 청크형 KV 캐시 압축 기법을 사용하면, 토큰이 압축 윈도우 경계와의 상대 위치(phase)에 따라 정보 검색 난이도가 크게 달라진다. 같은 정보가 어떤 phase에서는 쉽게 검색되지만 다른 phase에서는 어렵다는 체계적인 비대칭성이 발생하며, 이를 phase sensitivity라고 명명했다. 대규모 오픈소스 모델들에서 long-context 검색 정확도가 phase에 따라 최대 40 percentage points 차이가 나타나, 평균 벤치마크 점수로는 드러나지 않는 주기적 약점들이 존재한다. 전체 요약 7문장 읽기 → 015 15:11 ▲ 16 · 댓글 1 멀티모달 LLM의 비전 토큰 처리를 MLP로 경량화 멀티모달 대형 언어 모델(MLLM)에서 긴 시각 토큰 시퀀스의 계산 비용을 줄이는 것이 핵심 과제이다. AI · 머신러닝 · Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
Key Point 멀티모달 LLM의 추론 속도 병목인 시각 처리를 경량화하면서 정보 손실 없이 정확도를 유지하는 새로운 접근법이 기존 토큰 제거 방식의 한계를 극복한다.
핵심 요약
멀티모달 대형 언어 모델(MLLM)에서 긴 시각 토큰 시퀀스의 계산 비용을 줄이는 것이 핵심 과제이다. 기존 방법은 불필요한 시각 토큰을 제거하는 토큰 가지치기(pruning)를 사용하지만, 이후 층에서 유용할 수 있는 시각 정보를 영구적으로 버린다. 연구진은 저랭크 개입 분석을 통해 시각-텍스트 정보 흐름을 차단한 후 몇 가지 방향만 복구해도 대부분의 정확도가 회복됨을 발견했다. 전체 요약 8문장 읽기 → 016 15:11 ▲ 46 · 댓글 1 테스트 시점 스케일링 효율 높이는 적응형 루프 트랜스포머 루프 트랜스포머는 계층을 재사용해 매개변수 효율성을 보이지만, 테스트 시 출력이 길어질수록 성능 향상을 제대로 비교한 연구가부족했다. AI · 머신러닝 · Improving Test-Time Scaling with Adaptive Looped Transformers
Key Point 긴 시퀀스 생성 시 추론 효율을 크게 높일 수 있는 새로운 방법이 제시돼, 언어 모델의 테스트 시점 성능-계산량 트레이드오프를 개선하려는 연구자들에게 중요하다.
핵심 요약
루프 트랜스포머는 계층을 재사용해 매개변수 효율성을 보이지만, 테스트 시 출력이 길어질수록 성능 향상을 제대로 비교한 연구가부족했다. 기존 루프 트랜스포머는 비루프 모델 대비 정확도-계산 기울기(테스트 시 디코딩 FLOPs 두 배당 정확도 이득)가 가파르지만, 같은 계산량에서는 비루프 모델에 미치지 못한다. 고정 깊이 루핑은 모든 토큰에 추가 반복을 쓰는데, 실제로는 많은 토큰이 추가 반복의 이득을 받지 못한다는 것을 발견했다. 전체 요약 8문장 읽기 → 017 06:11 ▲ 213 · 댓글 124 토큰 40% 줄인 Kimi K3 기반 Ember-1 공개 Fireworks Research가 Kimi K3를 기반으로 한 Ember-1 모델을 공개했으며, 같은 품질을 유지하면서 토큰을 40% 감소시켰다. AI · 머신러닝 · Ember-1
Key Point 추론 토큰이 비용의 대부분을 차지하는 AI 워크로드(특히 에이전트 작업)에서 비용을 획기적으로 줄일 수 있는 방법이 실제로 작동한다는 검증된 사례이기 때문이다.
핵심 요약
Fireworks Research가 Kimi K3를 기반으로 한 Ember-1 모델을 공개했으며, 같은 품질을 유지하면서 토큰을 40% 감소시켰다. K3의 장황한 추론(최대 90% 이상이 내부 추론에 사용)으로 인한 비용 문제를 해결하기 위해, 불필요한 추론은 제거하고 의미 있는 사고만 보존하도록 훈련했다. 이를 위해 50회 이상의 훈련 실험과 200회 이상의 평가를 수행했으며, 추론 토큰을 줄이면서 정확도를 잃지 않기 위한 새로운 훈련 알고리즘을 개발했다. 전체 요약 12문장 읽기 → 
