행렬 곱셈 대신 저비용 연산 쓰는 트랜스포머 구조 제시
원제 Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
추천 14댓글 1
Key Point
행렬 곱셈 최적화가 아닌 완전히 다른 연산으로 대체할 때 처리량 증가 vs. 성능 저하 트레이드오프가 어떻게 나타나는지 보여주는 실험 결과이다.
핵심 요약
- 기존 고속 행렬 곱셈 알고리즘과 다르게, 트랜스포머의 학습된 투영(projection)이 더 저렴한 대체 연산을 쓸 수 있는지 탐구했다.
- 일반적인 행렬 곱셈을 희소한 상호작용 테이블로 대체하는 결합대수(associative algebra) 구성을 기반으로, 물리적 블록 크기가 고정되면 행렬 차원에서 이차 산술복잡도를 갖는 계층군을 구축했다.
- 이 구성은 Alder-Strassen 경계에 의해 쌍선형 순위(bilinear rank)에서 증명 가능하게 최적이며, 인과 마스킹(causal masking)과 KV 캐시 디코딩과 호환되는 행 타입의 직사각형 투영으로 실현할 수 있다.
- 동일한 레시피와 123억 토큰 예산으로 약 1억 1천만 매개변수 디코더 전용 트랜스포머 언어 모델 두 개를 훈련했으며, 피드포워드 레이어만 다르게 했다(일반 밀집 행렬 곱셈 vs. 결합대수 곱셈).
- 4개 프롬프트 도메인에서 결합대수 모델이 종단간 생성 처리량에서 6.2~7.8% 증가를 달성했다.
- 다만 3가지 다운스트림 지표 모두에서 더 낮은 점수를 얻었으며, 저자들은 이 결과를 소규모에서의 실현 가능성과 훈련 가능성 검증으로 해석하고 향후 연구로 미룬다.