Hugging Face 논문AI · 머신러닝오늘의 주요

선형 어텐션의 게이팅과 읽기 방식을 개선한 Muir 제안

원제 Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout

추천 12댓글 8Tushaar Gangavarapu, Gil Tabak, Clemens JS Schaefer
Key Point

선형 어텐션의 상태 업데이트 민감도 비대칭을 처음 분석하고 이를 바탕으로 설계한 Muir가 Transformer와 최신 모델을 능가하는 성능을 달성했으며, 수백만 토큰 외삽까지 안정적으로 동작해 장문맥 모델의 새로운 방향을 제시한다.

핵심 요약

  • 선형 어텐션은 맥락을 고정 크기의 키-값 상태로 압축해 선형 시간 학습과 상수 메모리 추론을 가능하게 한다.
  • 기존 Gated DeltaNet-2(GDN-2)는 채널별 감쇠와 분리된 전체 계수 지우기·쓰기 게이트를 사용하는데, 저자들은 상태 업데이트가 쓰기보다 지우기에 훨씬 덜 민감함을 발견했다.
  • 키 활성화와 단위 정규화가 키 에너지를 채널의 희소 부분집합에 집중시키는 반면, 값 쓰기는 모든 채널을 스케일링하므로 지우기 게이트는 더 낮은 계수로 매개변수화될 수 있다.
  • 천천히 감쇠하는 상태 행들은 빠른 행보다 훨씬 큰 규범을 축적해 가중치 없는 읽기를 지배하고, 간섭을 억제하기 위해 더 강한 쓰기 시점 지우기를 강제한다.
  • 이 분석을 바탕으로 Muir는 모든 게이트를 민감도 할당 저계수 투영으로 융합하고, 상태 행들을 정합 필터 읽기 게이트로 재가중치화하며, 절약된 매개변수를 더 넓은 피드포워드 네트워크에 재투자한다.
  • 표준 청크 알고리즘이 넓은 행렬 단위를 포화시키는 데 필요한 큰 청크 크기에서 수치적으로 불안정해지므로, 안정적이고 효율적인 학습을 위한 병렬 업데이트를 설계했다.
  • 166M~1.34B 매개변수 규모에서 Muir는 GDN-2 대비 1.8~2.0%, Transformer 대비 2.5~3.6% 낮은 퍼플렉시티를 달성했다.
  • 상식 정확도는 최대 1.9포인트 상승했으며 추출적 회상에서도 GDN-2를 능가했다.
  • 1.34B 규모에서 다중 홉 및 다중 바늘 회상에서 두 기준선보다 우수하고, 4K 학습 길이에서 10M 토큰 스트림으로 2,560배 외삽해도 퍼플렉시티 드리프트가 없다.
  • 정적 읽기로 1M 토큰까지 거의 100%의 패스키 회상을 유지하며, GDN-2 처리량을 맞추면서 100B 토큰 검증 손실에 1.2배 빠르게 도달하고 32K 길이에서 Transformer보다 2.7배 빠르게 학습한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗