3차원 텐서 상태로 장문맥 처리하는 선형 어텐션
원제 Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
추천 26댓글 2
Key Point
선형 어텐션의 메모리 효율성을 유지하면서 상태 차원을 3차원으로 확장하는 기술적 혁신으로, 장문맥 시퀀스 모델링에서 성능과 효율성의 균형을 새로 정의한다.
핵심 요약
- RNN의 선형 어텐션은 고정 크기 메모리 상태로 장문맥을 압축해 일정한 시간에 추론하는데, 메모리 상태 크기가 성능을 좌우한다.
- 기존 선형 어텐션은 키·벨류 벡터의 외적으로 행렬 크기 상태를 만들었으나, 새로운 방법은 키·두 번째 키·벨류의 3중 외적으로 3차원 텐서 상태를 작성한다.
- 두 개의 쿼리로 텐서의 두 키 축을 수축(contraction)해 읽어내며, E차원의 두 번째 키로 상태 크기를 E배 늘리면서 파라미터 프로젝션은 단 2개만 추가한다.
- 이 방법은 데이터 의존형 망각(data-dependent forgetting), 델타 규칙, 청크 단위 병렬 학습과 호환된다.
- Gated DeltaNet과 스칼라 게이트 선형 어텐션에 적용했을 때 장문맥 언어 모델링과 회상 성능이 크게 향상되며, 상태 크기를 확대하는 다른 방식을 능가한다.