선형 어텐션의 오래된 맥락 처리 능력 끌어올리기

핵심 요약

• 선형 어텐션은 효율성이 필요한 긴 맥락 언어 모델링을 약속하지만, 고정 크기의 순환 상태로 현재 계산을 지원하면서 동시에 계속 증가하는 히스토리 정보를 보존해야 하는 딜레마가 있다.
• 기존에는 이 순환 상태의 메모리 용량이 모델의 긴 맥락 처리 능력의 상한선을 정한다고 여겨졌으나, 연구팀은 순환 계산이 장기 저장의 모든 부담을 질 필요가 없다는 점을 제시한다.
• NoteBank라는 희소 에피소드 메모리를 도입했으며, 이는 미래 쿼리를 알기 전에 선택된 텍스트를 보관하고, 백본의 기본 특징으로 읽고 쓰며, 재생을 통해 네이티브 순전파 계산으로 검색된 증거를 읽는다.
• 학습 없는 플러그 앤 플레이 방식으로, 외부 임베딩 모델이나 별도의 학습된 리트리버, 신경망 리더가 필요 없다.
• 백만 토큰에서 Gated DeltaNet의 RULER 리트리버 작업 6개 평균 정확도를 1.7%에서 70.3%로 상향시켰으며, 4K에서 1M 토큰까지 심각한 검색 성능 저하가 관찰되지 않았다.
• 분석적 FLOPs에 0.025% 미만을 추가하고, 지속적 맥락 저장이 동일 너비·깊이·정밀도의 Transformer 전체 MHA KV 캐시의 약 1/2,600 수준이다.
• 세 가지 1.3B 순환 백본, Mamba-2-8B, 그리고 사후 학습된 Qwen3.5-9B에서 실험을 확장했으며, LongBench v1/v2와 MemoryAgentBench에서 성능 향상을 보였다.
• 희소 증거 저장과 네이티브 재생이 사전 학습된 선형 어텐션 모델의 긴 맥락 처리 능력을 크게 확대하면서 순환 계산의 효율성을 유지할 수 있음을 입증했다.