선형 시간 희소 어텐션으로 컨텍스트 길이 확장하기
원제 FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation
추천 11댓글 2
Key Point
트랜스포머의 근본적 한계인 이차 복잡도 문제를 해결하면서도 학습 데이터보다 긴 입력에서도 작동하는 새로운 어텐션 메커니즘의 제안으로, LLM의 컨텍스트 길이 확장이 시급한 현실에서 실질적 개선을 제시한다.
핵심 요약
- 선형 시간 시퀀스 모델들은 고정된 크기의 상태에 정보를 저장하기 때문에 장문맥 처리에 제약이 있고, 전체 어텐션을 추가하면 이차 비용이 발생한다.
- 지속적 사전학습(CPT)을 통한 희소 어텐션은 컨텍스트 길이를 늘릴 수 있지만 학습된 길이를 넘어 일반화하기 어렵고 비용이 크다.
- FreeSolo는 단거리 슬라이딩 윈도우 분기와 키포인트 셀을 선택하는 장거리 분기로 구성된 네이티브 희소 어텐션 메커니즘이다.
- 선형 시간 변종 FS-L은 짧은 CPT를 통해 쿼리 의존적 선택 전에 프리픽스를 자동 제거하도록 학습한다.
- 균형잡힌 트리를 검색하는 FS-B는 기수 정렬 구성을 포함하여 O(Nlog^2 N)의 알고리즘 복잡도를 가진다.
- FreeSolo는 장문맥 미세조정 없이도 기존 방식보다 우수한 영점사 길이 외삽 성능을 보인다.