깊이 축 주의 메커니즘 확장으로 신경망 효율성 1.58배 향상
원제 Multi-Stream Attention Residuals
추천 34댓글 4
Key Point
대규모 신경망의 효율성을 단순한 아키텍처 변경만으로 1.58배 향상시키는 방법을 제시하여 모델 학습과 배포 비용 절감에 직접 영향을 줄 수 있습니다.
핵심 요약
- Attention Residuals(AttnRes)는 네트워크 깊이축을 따라 내용 기반 검색을 수행하는 메커니즘으로, 깊이축 단일스트림 소프트맥스 어텐션으로 볼 수 있습니다.
- 다중헤드 어텐션의 성공에 영감을 받아 Multi-Stream Attention Residuals(MSAR)을 제안했으며, 이는 AttnRes를 다중헤드 깊이 어텐션으로 확장한 것입니다.
- MSAR은 다중규모 인과 합성곱을 통해 시퀀스 문맥에서 스트림 다양성을 도출하여, 각 헤드가 서로 다른 문맥 관점을 통해 과거 표현을 검색할 수 있습니다.
- 검색된 스트림들은 경량 적응형 믹싱으로 결합되어 단일스트림 레이어 입력을 생성하며, 단일스트림 소스를 유지하면서 필요시에만 확장하므로 다중스트림 저장소나 통신이 불필요합니다.
- 18B와 28B MoE 규모의 12개 하위 벤치마크에서 표준 잔차 연결, mHC, AttnRes 등 기존 방식들보다 일관되게 우수한 성능을 보였습니다.
- 스케일링 법칙 실험에서 표준 잔차 기준 대비 1.58배의 동일손실 계산 가속을 달성했으며, 이는 AttnRes의 1.35배, mHC의 1.30배보다 향상된 결과입니다.