상대 위치 어텐션, 구조 인식 커널로 속도·메모리 대폭 개선
원제 Fast and Exact Relative-Position Attention via Structure-Aware Kernels
추천 22댓글 2
Key Point
상대 위치 어텐션이 RoPE 대비 유리한 도메인에서 길이 확장성의 근본적 병목을 해결함으로써, 오디오·장문맥 처리에서 Transformer 적용 범위를 크게 확대할 수 있다.
핵심 요약
- RoPE 대신 상대 위치 기반 어텐션 메커니즘은 음성 처리 등에서 뛰어난 성능을 보이지만, 시퀀스가 길어질수록 메모리·대역폭·연산량이 급증하는 병목이 있었다.
- 이 논문은 FlashAttention 스타일의 타일 기반 연산에 상대 위치 항을 정확히 통합하는 새로운 알고리즘을 제안한다.
- 오프셋 인식 타일링으로 중복 인덱싱을 제거하고, 키-쿼리 관계 연산을 필요한 만큼만 계산해 토큰 쌍 간에 재사용한다.
- 역전파 단계에서도 오프셋 기반 그래디언트 분산·병합으로 원자 연산 충돌을 없앤다.
- Triton으로 다양한 상대 위치 어텐션 메커니즘을 통합 구현했으며, 8K 토큰 시퀀스에서 정방향 통과는 1.8~6.4배, 역방향은 2.0~21배 빨라졌다.
- 피크 메모리 사용량은 각 메커니즘별 최강 기존 방식 대비 정방향에서 2.9~128배, 역방향에서 1.4~54배 감소했다.
- 장문맥 음성 전사 작업 기준으로 전체 처리는 1.8배 빨라졌고 메모리는 2.4배 줄었다.