쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
12건 · "저랭크"조건 지우기 ×
001 00:11 ▲ 34 · 댓글 4 추론 메모리 4배 줄이는 KV 캐시 압축 기법 LowRAM 생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다. AI · 머신러닝 · LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Key Point LLM 추론 시 가장 큰 메모리 병목인 KV 캐시를 4배 이상 압축하면서 성능을 유지하는 방법으로, 배치 크기 확대와 처리량 증대에 직결된다.
핵심 요약
생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다. 논문은 각 어텐션 헤드 내에서 밸류(Value)가 키(Key)로부터 대부분 예측 가능하다는 새로운 압축 축을 제시한다. 밸류 캐시 상각화 기법은 헤드별 경량 예측기를 추론 시점에 피팅하고 예측 오류가 큰 토큰의 잔차만 저장해 4배 무손실에 가까운 압축을 달성한다. 전체 요약 8문장 읽기 → 002 00:11 ▲ 121 · 댓글 69 바이두, 효율성 중심의 초거대 언어모델 ERNIE 5.5 Flash 공개 바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. AI · 머신러닝 · Baidu released ERNIE 5.5 Flash Base
Key Point 개발자가 자체 파인튜닝에 집중할 수 있도록 사전학습 체크포인트를 그대로 공개했고, 아키텍처 전반에서 활성 파라미터를 줄인 희소 모델로 훈련 및 추론 비용을 절감할 수 있게 설계했다.
핵심 요약
바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. 사전학습 종료 직후의 가중치를 제공하므로, 도메인 적응·명령어 튜닝·강화학습 연구의 출발점으로 사용 가능하다. 모델은 효율성을 최우선으로 설계했다. 43개 레이어 중 37개는 128배 압축된 시퀀스를 처리하는 HCA(Heavily Compressed Attention)를 사용하고, 6개만 전체 컨텍스트에 접근하는 MLA(Multi-head Latent Attention)를 사용한다. 전체 요약 10문장 읽기 → 003 06:11 ▲ 116 · 댓글 10 LLM의 '잠자기' 단계로 지속학습과 기억력 문제 해결 구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다. AI · 머신러닝 · Sleep framework: A new way for LLMs to retain knowledge in continual learning
Key Point LLM이 새로운 정보를 학습하면서 기존 지식을 잃지 않고 맥락도 10배 이상 확장하는 핵심 기술이 어떻게 작동하는지 이해할 수 있고, 산업 배포된 모델의 적응력 문제를 근본적으로 해결하는 가능성을 보여준다.
핵심 요약
구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다. 기존 LLM은 배포 후 고정된 학습 시점을 유지하거나, 문맥 윈도우 내에서만 정보를 보유하는 한계가 있고, 새로운 데이터로 업데이트하면 이전 학습 내용을 잊는 '재앙적 망각(catastrophic forgetting)' 문제가 발생한다. 수면 프레임워크는 활동(깨어있는) 단계와 오프라인 메모리 통합(수면) 단계를 번갈아가며 작동한다. 전체 요약 13문장 읽기 → 004 15:11 ▲ 22 · 댓글 5 MoE 모델의 채널 선택, 보정 데이터 없이 가능 Mixture-of-Experts(MoE) 모델은 대화형 디코딩 중 라우팅된 전문가 가중치를 메모리에서 로드할 때 병목을 겪으며, 채널 선택기는 각 토큰에 실질적으로 영향을 주는 채널만 읽어 이를 완화한다. AI · 머신러닝 · Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data
Key Point 현재 MoE 모델 최적화의 표준인 보정 기반 임계값이 예산 보장과 성능 향상을 모두 충족하지 못하며, 보정 없는 top-k와 경량 리더로 더 안정적이고 빠른 디코딩을 달성할 수 있음을 보여준다.
핵심 요약
Mixture-of-Experts(MoE) 모델은 대화형 디코딩 중 라우팅된 전문가 가중치를 메모리에서 로드할 때 병목을 겪으며, 채널 선택기는 각 토큰에 실질적으로 영향을 주는 채널만 읽어 이를 완화한다. 기존 방식은 오프라인 데이터로 보정한 임계값을 사용하지만, 임계값을 통과하는 채널 수는 입력마다 달라져 실제 읽기 예산이 불안정하다: Prox는 18% 읽기 예산으로 보정되었으나 실제로는 평균 12.9%만 읽는다. Top-k 방식은 각 토큰의 k개 최고점수 채널을 선택하며 보정 데이터가 필요 없다. 전체 요약 8문장 읽기 → 005 21:12 ▲ 23 · 댓글 2 신경망 가중치를 이산 결정 경로로 표현하는 TWIG 제안 신경망의 모든 가중치를 트리 구조의 작은 이산 결정(부호, 2의 거듭제곱 시프트, 게이트, 테이블 인덱스)의 경로 끝으로 표현하는 TWIG(Tree-structured Weights with Inherited Gates)를 제안했다. AI · 머신러닝 · Every Weight Is a Path of Shared Discrete Decisions
Key Point 신경망 가중치 압축 방식을 통합하는 새로운 표현이 기존 양자화 방법보다 회로 비용을 크게 줄일 수 있음을 보여주기 때문이다.
핵심 요약
신경망의 모든 가중치를 트리 구조의 작은 이산 결정(부호, 2의 거듭제곱 시프트, 게이트, 테이블 인덱스)의 경로 끝으로 표현하는 TWIG(Tree-structured Weights with Inherited Gates)를 제안했다. 같은 영역에 속한 가중치들은 경로의 상위 부분을 공유하며, 각 결정은 트리 아래의 모든 가중치에 상속되어 한 번만 저장하고 적용된다. 임의의 학습된 신경망을 TWIG로 표현할 수 있으며, 2의 거듭제곱 결정을 사용할 때 가중치 계층이 거의 모두 선(wire)과 가산기로 이루어진 회로가 되어 고정 가중치 칩에 적합하다. 전체 요약 7문장 읽기 → 006 18:11 ▲ 65 · 댓글 1 문맥 정보를 모델의 영구 지식으로 만드는 방법 큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다. AI · 머신러닝 · Cortex: Consolidating Context into Parametric Memory
Key Point 문맥 정보를 임시적이 아닌 영구적 지식으로 전환하는 기술은 모델 미세조정이나 지속적 학습 환경에서 핵심적인 문제이며, 대규모 모델에서의 구체적 성능 달성(88.9% 복구율)을 보여준다.
핵심 요약
큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다. 생물학적 기억 통합 현상에서 영감을 얻어 Memory Consolidation(MC)을 제안한다: 문맥으로부터의 이득을 모델에 내재화하면서 다른 능력은 보존하는 것이다. Context-specified editing, skill learning, behavioral steering을 하나의 목표 아래 통합한다. 전체 요약 8문장 읽기 → 007 21:11 ▲ 16 · 댓글 2 영상 생성 속도 2배 이상 높인 경량 VAE 기법 공개 영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. AI · 머신러닝 · LightVAE: Towards Compact and Efficient Video Autoencoders
Key Point 영상 생성 모델의 추론 속도를 2배 이상 높일 수 있는 기술이 공개되어, 실시간 영상 생성 서비스의 비용과 성능을 크게 개선할 수 있게 되었다.
핵심 요약
영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. 기존 방식은 공간과 시간 계산을 함께 제약하거나 시간 계산을 제거했으나, Conv3D에서 두 차원의 압축 민감도를 구분하지 못했다. LightVAE는 시간 모델링과 네트워크 깊이의 중복성을 이용하는 압축 프레임워크다. 전체 요약 12문장 읽기 → 008 18:33 ▲ 14 · 댓글 2 LLM 강화학습의 메모리 병목을 저랭크 그래디언트로 풀다 강화학습(RL)은 대규모언어모델(LLM)의 성능을 높였지만 메모리 수요가 채택의 걸림돌이 되고 있다. AI · 머신러닝 · LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
Key Point LLM 강화학습 훈련의 메모리 효율을 45% 이상 개선해 더 큰 모델과 리소스 제약 환경에서의 RL 훈련을 실용적으로 만든다.
핵심 요약
강화학습(RL)은 대규모언어모델(LLM)의 성능을 높였지만 메모리 수요가 채택의 걸림돌이 되고 있다. LoGRA는 유용한 학습 신호를 저랭크 그래디언트 스케치로 압축해 메모리 사용량을 줄이는 RL 후훈련 기법이다. 이 컴팩트한 표현은 모델 업데이트와 효율적인 정책 동기화 모두를 지원한다. 전체 요약 7문장 읽기 → 009 12:11 ▲ 15 · 댓글 2 VLA 강화학습, 저랭크 구조로 성능 향상 메커니즘 규명 비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다. AI · 머신러닝 · The Low-Rank Structure of VLA Reinforcement Learning
Key Point 로봇 비전-언어 모델의 강화학습이 파라미터 공간에서 어떻게 작동하는지 처음으로 명확히 규명했으며, 효율적인 미세조정 전략을 제시해 VLA 모델 개발 방식을 바꿀 수 있다.
핵심 요약
비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다. π₀.₅, GR00T N1.5/N1.6 등 플로우 기반 VLA 모델을 LIBERO, ManiSkill, MetaWorld, CALVIN에서 테스트한 결과, 타임스텝 모듈이 RL 성능 향상의 불균형적으로 큰 부분을 차지한다. RL은 타임스텝 모듈을 롤아웃 중 사용되는 이산 노이징 타임스텝에 특화시키며, 이 이산 타임스텝 학습이 저랭크 업데이트의 원인이다. 전체 요약 6문장 읽기 → 010 15:11 ▲ 16 · 댓글 1 멀티모달 LLM의 비전 토큰 처리를 MLP로 경량화 멀티모달 대형 언어 모델(MLLM)에서 긴 시각 토큰 시퀀스의 계산 비용을 줄이는 것이 핵심 과제이다. AI · 머신러닝 · Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
Key Point 멀티모달 LLM의 추론 속도 병목인 시각 처리를 경량화하면서 정보 손실 없이 정확도를 유지하는 새로운 접근법이 기존 토큰 제거 방식의 한계를 극복한다.
핵심 요약
멀티모달 대형 언어 모델(MLLM)에서 긴 시각 토큰 시퀀스의 계산 비용을 줄이는 것이 핵심 과제이다. 기존 방법은 불필요한 시각 토큰을 제거하는 토큰 가지치기(pruning)를 사용하지만, 이후 층에서 유용할 수 있는 시각 정보를 영구적으로 버린다. 연구진은 저랭크 개입 분석을 통해 시각-텍스트 정보 흐름을 차단한 후 몇 가지 방향만 복구해도 대부분의 정확도가 회복됨을 발견했다. 전체 요약 8문장 읽기 → 011 15:11 ▲ 46 · 댓글 2 텍스트·이미지·영상·음성을 하나로 이해하는 멀티모달 임베딩 모델 공개 Hugging Face 연구팀이 텍스트, 이미지, 영상, 음성을 통합으로 처리하는 Ovis-Embedding을 발표했다. AI · 머신러닝 · Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
Key Point 단일 모달리티 검색의 한계를 극복하고 텍스트-영상, 음성-텍스트 등 크로스 모달 검색이 필요한 개발자와 연구자에게 새로운 기술 선택지를 제공한다.
핵심 요약
Hugging Face 연구팀이 텍스트, 이미지, 영상, 음성을 통합으로 처리하는 Ovis-Embedding을 발표했다. 기존의 분리된 모달리티 타워 대신 공유 멀티모달 백본을 사용해 모든 데이터를 공통 표현 공간으로 인코딩한다. Qwen-omni 사전학습 모델을 기반으로 대조 학습과 저랭크 초기화를 통해 학습했다. 전체 요약 5문장 읽기 → 012 09:10 ▲ 102 · 댓글 26 무한 개수 가중치 생성하는 LLM 아키텍처 제안 정적 사전학습 데이터 대신 실시간 상호작용 데이터로부터 모델 가중치를 생성하는 '무한-파라미터 LLM'이 제안됐다. AI · 머신러닝 · Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
Key Point LLM이 배포 후 사용자 상호작용 데이터를 학습하는 방식의 근본적 전환을 제시해, 미세조정 없이 동적 적응을 추구하는 개발자와 연구자에게 새로운 설계 방향을 제공한다.
핵심 요약
정적 사전학습 데이터 대신 실시간 상호작용 데이터로부터 모델 가중치를 생성하는 '무한-파라미터 LLM'이 제안됐다. 하이퍼네트워크가 사용자 입력이나 정정 같은 런타임 데이터를 공유 기본 네트워크의 저랭크 변조로 변환해 가중치를 동적으로 생성한다. 베이지안 신념으로 생성기의 잠재 코드를 추적해 세션 진행 중 가중치를 재계산하므로, 한 번만 읽고 고정하던 방식과 달라진다. 전체 요약 5문장 읽기 →