Hugging Face 논문AI · 머신러닝

상대 위치 어텐션, 구조 인식 커널로 속도·메모리 대폭 개선

원제 Fast and Exact Relative-Position Attention via Structure-Aware Kernels

추천 22댓글 2Delyan Boychev, Ivo Petrov, Dimitar I. Dimitrov
Key Point

상대 위치 어텐션이 RoPE 대비 유리한 도메인에서 길이 확장성의 근본적 병목을 해결함으로써, 오디오·장문맥 처리에서 Transformer 적용 범위를 크게 확대할 수 있다.

핵심 요약

  • RoPE 대신 상대 위치 기반 어텐션 메커니즘은 음성 처리 등에서 뛰어난 성능을 보이지만, 시퀀스가 길어질수록 메모리·대역폭·연산량이 급증하는 병목이 있었다.
  • 이 논문은 FlashAttention 스타일의 타일 기반 연산에 상대 위치 항을 정확히 통합하는 새로운 알고리즘을 제안한다.
  • 오프셋 인식 타일링으로 중복 인덱싱을 제거하고, 키-쿼리 관계 연산을 필요한 만큼만 계산해 토큰 쌍 간에 재사용한다.
  • 역전파 단계에서도 오프셋 기반 그래디언트 분산·병합으로 원자 연산 충돌을 없앤다.
  • Triton으로 다양한 상대 위치 어텐션 메커니즘을 통합 구현했으며, 8K 토큰 시퀀스에서 정방향 통과는 1.8~6.4배, 역방향은 2.0~21배 빨라졌다.
  • 피크 메모리 사용량은 각 메커니즘별 최강 기존 방식 대비 정방향에서 2.9~128배, 역방향에서 1.4~54배 감소했다.
  • 장문맥 음성 전사 작업 기준으로 전체 처리는 1.8배 빨라졌고 메모리는 2.4배 줄었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗