장문맥 하이브리드 모델의 동작 원리 분석
원제 Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
추천 30댓글 2
Key Point
하이브리드 어텐션이 장문맥 처리에서 어떤 메커니즘으로 작동하는지, 슬라이딩 윈도우와 선형 어텐션 중 어느 것을 선택할지 결정하는 기준이 명확히 제시되었기 때문이다.
핵심 요약
- LLM의 아키텍처가 전체 어텐션만 사용하던 기존 방식에서 슬라이딩 윈도우 어텐션(SWA)과 선형 어텐션(LA) 등을 결합한 하이브리드 모델로 전환되고 있다.
- 본 논문은 하이브리드 모델이 작동하는 이유를 규명하고 더 효과적으로 설계하기 위해 '장문맥 하이브리드 모델의 역학'을 제안한다.
- 전체 어텐션과 SWA, 또는 GLA·GDN 같은 게이팅 선형 어텐션을 결합한 하이브리드에서 씨소 효과(Seesaw Effect)를 관찰했다: LA 하이브리드는 장문맥 지속 학습에서 더 유리하고 SWA 하이브리드는 길이 외삽에서 더 잘 작동한다.
- 이러한 차이는 각 어텐션 메커니즘이 유발하는 위치 인덕티브 바이어스의 차이에서 비롯된다.
- SWA 하이브리드는 단문맥 학습 트랩, 단기 윈도우 지침(Short-Window Weariness), 장기 윈도우 게으름(Long-Window Laziness)으로 인해 장문맥 지속 학습에서 확대된 윈도우가 필요하다.
- LA 하이브리드에서는 하이브리드 위치 외삽의 매튜 효과를 규명하고 슬라이딩 윈도우 선형 어텐션을 제안하여 64k 문맥 길이에서 NIAH-SK1에 100% 정확도를 유지하면서 16배 훈련 없는 길이 외삽을 달성했다.