긴 시퀀스 처리의 한계, 분수 동역학으로 해결
Key Point
State Space Model의 메모리 구조 한계를 해결하는 새로운 접근이 긴 문맥 처리 능력을 크게 높이므로, 대규모 언어 모델의 성능 향상에 직결된다.
핵심 요약
- State Space Models(SSM)는 시퀀스 히스토리를 제한된 크기의 상태로 압축하는데, 기존 ODE 기반 SSM은 지수 감쇠를 사용하여 오랜 시간에 걸친 정보 보유 능력이 제한된다.
- 연구팀이 제시한 FRAC은 분수 동역학에서 파생된 선택적 SSM으로, 지수 감쇠를 멱법칙 기반 장기 메모리로 대체한다.
- FRAC은 무거운 꼬리 분포 커널을 log-space로 배치된 유한 개의 지수 모드의 합으로 근사하여, 분수 동역학을 실용적인 순환 모듈로 변환한다.