쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
10건 · "선형 어텐션"조건 지우기 ×
001▲ 22 · 댓글 74비트 재귀 상태 양자화로 LLM 배치 처리 메모리 절감선형 어텐션 언어 모델은 고정 크기의 재귀 상태로 문맥을 유지하며, 추론 시스템은 동시에 복호화되는 각 시퀀스마다 상태 복사본을 저장해야 한다.AI · 머신러닝 · PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
Key PointLLM 추론 시 배치 크기를 제약하는 상태 메모리를 4비트로 양자화할 수 있다면, 같은 GPU 메모리로 더 많은 요청을 동시 처리할 수 있기 때문이다.
핵심 요약
- 선형 어텐션 언어 모델은 고정 크기의 재귀 상태로 문맥을 유지하며, 추론 시스템은 동시에 복호화되는 각 시퀀스마다 상태 복사본을 저장해야 한다.
- 상태를 낮은 정밀도로 저장하면 더 많은 시퀀스가 가속기를 공유할 수 있지만, 기존 양자화 방식은 매 토큰 생성 후 반올림하므로 4비트에서 정확도 손실이 크다.
- PACE는 사후 4비트 상태 양자화 기법으로, 매 토큰마다가 아니라 여러 토큰 생성 후에만 한 번 상태를 반올림하고, 그 사이 생성된 토큰을 작은 버퍼에 보관한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Kronecker Delta Rule for Long Context Linear Attention
Key Point메모리 간섭을 크게 줄이면서 안정성까지 갖춘 선형 어텐션이 장문맥 모델링 성능에서 기존 방식을 앞서면서, 대형 언어모델의 효율적인 장문맥 처리 방식이 진화하고 있음을 보여준다.
핵심 요약
- KronLSTM이라는 새로운 선형 어텐션 아키텍처를 제안했으며, 크로네커 델타 규칙이라는 연관 행렬 메모리의 신규 업데이트 규칙을 기반으로 한다.
- xLSTM 계열을 확장해 메모리 수정 메커니즘을 추가했으며, 특정 연관성을 정정하면서도 행렬 공간의 단일 방향으로만 메모리를 변경한다.
- 이러한 최소한의 침습적 메모리 수정 방식은 기존 델타 규칙 업데이트 대비 이전에 저장된 정보와의 간섭을 줄여 장문맥 언어 모델링에 적합하다.
전체 요약 8문장 읽기 →AI · 머신러닝 · History Replays Itself: Unleashing Long-Context Capability in Linear Attention
Key Point선형 어텐션 모델의 가장 큰 약점인 긴 맥락 처리를 메모리 오버헤드 거의 없이 해결하는 방법을 제시해 실용적 배포 가능성을 높였다.
핵심 요약
- 선형 어텐션은 효율성이 필요한 긴 맥락 언어 모델링을 약속하지만, 고정 크기의 순환 상태로 현재 계산을 지원하면서 동시에 계속 증가하는 히스토리 정보를 보존해야 하는 딜레마가 있다.
- 기존에는 이 순환 상태의 메모리 용량이 모델의 긴 맥락 처리 능력의 상한선을 정한다고 여겨졌으나, 연구팀은 순환 계산이 장기 저장의 모든 부담을 질 필요가 없다는 점을 제시한다.
- NoteBank라는 희소 에피소드 메모리를 도입했으며, 이는 미래 쿼리를 알기 전에 선택된 텍스트를 보관하고, 백본의 기본 특징으로 읽고 쓰며, 재생을 통해 네이티브 순전파 계산으로 검색된 증거를 읽는다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Fish Audio Drama 3 Technical Report
Key Point단일 모델로 음성 복제, 자연어 지시, 멀티턴 편집, 장면 더빙을 모두 지원하며 파라미터 대비 빠른 추론 속도를 달성한 기술적 진전이 실제 음성 생성·편집 워크플로를 어떻게 단순화할지 확인할 수 있다.
핵심 요약
- 텍스트를 연기하는 형태의 음성으로 변환하는 오픈소스 모델 Fish Audio Drama 3을 공개했다.
- 35B 파라미터 혼합 전문가 구조에 토큰당 3B 파라미터만 활성화하며, 여러 참조에서 목소리를 복제하고 자연어 지시에 따른다.
- 다음 턴의 피드백으로 테이크를 수정하고, 여러 캐릭터 장면에 음성을 부여하며, 기존 음성을 인필로 편집하고 장시간·스트리밍 오디오를 합성한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks
Key Point매개변수 크기를 고정하지 않고 데이터를 직접 저장하는 방식이 기존 신경망 설계와 어떻게 다르며, 실제 성능상 이점이 있는지 확인할 수 있는 새로운 학습 패러다임입니다.
핵심 요약
- 딥러닝의 일반 목적 계층으로서, 학습 데이터를 고정 크기의 가중치 행렬로 압축하지 않고 모든 데이터 포인트마다 키-값 표현을 저장했다가 추론 시 어텐션으로 검색·결합하는 성장형 신경망을 제시했다.
- 기존 선형 어텐션(LA) 이론을 확장해 RBF와 소프트맥스 커널 같은 고급 커널을 사용할 경우 기울기 기반 최적화가 자명하지 않은 문제를 발견했다.
- 함수형 기울기(functional gradient) 기반 학습 규칙을 개발하여 커널화된 어텐션 계층의 원칙적인 최적화 방법을 제시했다.
전체 요약 5문장 읽기 →AI · 머신러닝 · V-CoLA: Vision Token Compression with Linear Attention
Key Point선형 어텐션 기반 비전-언어 모델에서 기존 압축 방법이 작동하지 않는 문제를 해결하는 새로운 접근법으로, 실무 배포 시 추론 속도와 메모리 효율을 크게 개선할 수 있다.
핵심 요약
- Vision-language 모델은 강력하지만 비전 토큰이 입력 시퀀스의 대부분을 차지해 계산 비용이 크다는 문제가 있다.
- 선형 어텐션을 활용한 하이브리드 아키텍처(예: Qwen3.5)가 등장하면서 기존 소프트맥스 기반 압축 방법들이 성능 저하를 보인다.
- 연구팀은 선형 어텐션에 특화된 훈련 불필요 토큰 압축 프레임워크 V-CoLA를 제안했다.
전체 요약 7문장 읽기 →AI · 머신러닝 · Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
Key Point하이브리드 어텐션이 장문맥 처리에서 어떤 메커니즘으로 작동하는지, 슬라이딩 윈도우와 선형 어텐션 중 어느 것을 선택할지 결정하는 기준이 명확히 제시되었기 때문이다.
핵심 요약
- LLM의 아키텍처가 전체 어텐션만 사용하던 기존 방식에서 슬라이딩 윈도우 어텐션(SWA)과 선형 어텐션(LA) 등을 결합한 하이브리드 모델로 전환되고 있다.
- 본 논문은 하이브리드 모델이 작동하는 이유를 규명하고 더 효과적으로 설계하기 위해 '장문맥 하이브리드 모델의 역학'을 제안한다.
- 전체 어텐션과 SWA, 또는 GLA·GDN 같은 게이팅 선형 어텐션을 결합한 하이브리드에서 씨소 효과(Seesaw Effect)를 관찰했다: LA 하이브리드는 장문맥 지속 학습에서 더 유리하고 SWA 하이브리드는 길이 외삽에서 더 잘 작동한다.
전체 요약 6문장 읽기 →AI · 머신러닝 · STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
Key Point선형 어텐션 모델의 메모리 병목인 재현 상태 양자화에서 시간과 공간 차원의 오류 영향을 고려한 첫 접근으로, 실제 배포 환경에서 메모리 사용량을 획기적으로 줄일 수 있다.
핵심 요약
- Linear attention은 KV 캐시 대신 고정 크기의 재현 상태를 사용하지만, 이 상태들이 메모리 병목이 되고 있다.
- 재현 상태를 저정밀도로 양자화하면 양자화 오류가 상태 업데이트 과정에서 누적되어 정확도가 크게 떨어진다.
- 연구진은 오류 영향이 두 가지 차원에 따라 달라짐을 발견했다: 시간적으로 오래된 메모리의 오류는 여러 디코딩 스텝에 걸쳐 지속되고, 공간적으로 서로 다른 키 행의 오류는 모델 출력에 미치는 영향이 다르며 상태 크기도 행과 열에 따라 변한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · GTR: Gated Token Recurrence for Efficient Dense Prediction
Key Point이차 복잡도로 인한 고해상도 이미지 처리의 계산 병목을 해결하는 새로운 아키텍처로, 4배 빠른 처리 속도와 엣지 장비 배포 가능성을 제시한다.
핵심 요약
- Self-attention 기반 비전 백본은 밀집 예측에서 우수하나 전역 소프트맥스 어텐션의 이차 계산 비용이 이미지 해상도 증가에 따라 효율성을 제한한다.
- GTR(Gated Token Recurrence)은 소프트맥스 없는 순환 비전 백본으로 게이팅 선형 어텐션, 교대 공간 스캔 방향, 공간 강화된 SwiGLU 블록을 결합했다.
- GTR은 최종 레이어 패치-토큰 정렬로만 증류되며 마스킹된 토큰 예측이나 중간 레이어 감독은 사용하지 않는다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Key Point선형 어텐션의 메모리 효율성을 유지하면서 상태 차원을 3차원으로 확장하는 기술적 혁신으로, 장문맥 시퀀스 모델링에서 성능과 효율성의 균형을 새로 정의한다.
핵심 요약
- RNN의 선형 어텐션은 고정 크기 메모리 상태로 장문맥을 압축해 일정한 시간에 추론하는데, 메모리 상태 크기가 성능을 좌우한다.
- 기존 선형 어텐션은 키·벨류 벡터의 외적으로 행렬 크기 상태를 만들었으나, 새로운 방법은 키·두 번째 키·벨류의 3중 외적으로 3차원 텐서 상태를 작성한다.
- 두 개의 쿼리로 텐서의 두 키 축을 수축(contraction)해 읽어내며, E차원의 두 번째 키로 상태 크기를 E배 늘리면서 파라미터 프로젝션은 단 2개만 추가한다.
전체 요약 5문장 읽기 →