긴 시퀀스 처리의 한계, 분수 동역학으로 해결
원제 Fractional State Space Transition for Long Sequence Modeling
추천 10댓글 2
Key Point
State Space Model의 메모리 구조 한계를 해결하는 새로운 접근이 긴 문맥 처리 능력을 크게 높이므로, 대규모 언어 모델의 성능 향상에 직결된다.
핵심 요약
- State Space Models(SSM)는 시퀀스 히스토리를 제한된 크기의 상태로 압축하는데, 기존 ODE 기반 SSM은 지수 감쇠를 사용하여 오랜 시간에 걸친 정보 보유 능력이 제한된다.
- 연구팀이 제시한 FRAC은 분수 동역학에서 파생된 선택적 SSM으로, 지수 감쇠를 멱법칙 기반 장기 메모리로 대체한다.
- FRAC은 무거운 꼬리 분포 커널을 log-space로 배치된 유한 개의 지수 모드의 합으로 근사하여, 분수 동역학을 실용적인 순환 모듈로 변환한다.
- 이 구조는 병렬 학습과 프리필(prefill)을 지원하면서도 제한된 크기의 상태로 자동회귀 디코딩을 유지한다.
- 13억 파라미터 언어 모델을 포함한 광범위한 실험에서 FRAC은 최첨단 SSM 기준선 대비 장문맥 성능을 일관되게 개선했으며, 단문맥에서도 경쟁력 있는 결과를 보였다.
- 이 연구는 분수 동역학이 장문맥 SSM의 실질적이고 효과적인 사전 정보(prior)를 제공함을 보여준다.