메모리 간섭 줄인 선형 어텐션, 장문맥 모델링에 강하다
원제 Kronecker Delta Rule for Long Context Linear Attention
추천 28댓글 2
Key Point
메모리 간섭을 크게 줄이면서 안정성까지 갖춘 선형 어텐션이 장문맥 모델링 성능에서 기존 방식을 앞서면서, 대형 언어모델의 효율적인 장문맥 처리 방식이 진화하고 있음을 보여준다.
핵심 요약
- KronLSTM이라는 새로운 선형 어텐션 아키텍처를 제안했으며, 크로네커 델타 규칙이라는 연관 행렬 메모리의 신규 업데이트 규칙을 기반으로 한다.
- xLSTM 계열을 확장해 메모리 수정 메커니즘을 추가했으며, 특정 연관성을 정정하면서도 행렬 공간의 단일 방향으로만 메모리를 변경한다.
- 이러한 최소한의 침습적 메모리 수정 방식은 기존 델타 규칙 업데이트 대비 이전에 저장된 정보와의 간섭을 줄여 장문맥 언어 모델링에 적합하다.
- 메모리 동역학은 수렴하는 마르코프 체인으로 수학적으로 설명할 수 있으며, 전체 입력 수열 동안 메모리 행렬의 예상 노름이 균일하게 제한된다.
- 따라서 KronLSTM은 메모리 상태에 대한 추가 정규화 또는 안정화 메커니즘 없이도 안정적인 메모리 동역학을 보장한다.
- 실험 결과 KronLSTM은 DeltaNet 계열 모델 등 기존 선형 어텐션 아키텍처와 경쟁력 있거나 우수한 성능을 보였으며, 특히 장문맥 벤치마크에서 강한 성능을 발휘했다.
- 크로네커 델타 규칙이 순환 선형 어텐션 아키텍처의 효과적이고 분석 가능한 안정적 연관 메모리 기반으로 확립되었다.
- 코드와 학습 모델이 오픈소스로 공개되었다.