병렬 가지로 나뉜 트랜스포머, 같은 비용에 성능 26% 향상
원제 Multi-Branch Transformer
추천 44댓글 3
Key Point
병렬 가지 구조가 같은 학습 비용으로 성능을 26% 향상시키고 추론 속도와 메모리 효율을 동시에 개선하는 실제적인 모델 확장 경로를 보여준다.
핵심 요약
- 기존 Transformer 모델 확장(가로 확대 또는 깊이 추가) 외에 새로운 경로를 탐색하는 Multi-Branch Transformer(MBT)를 제시한다.
- 초기 공유 레이어를 거친 입력이 여러 개의 독립적 블록 가지들을 병렬로 처리한 뒤, 그 출력을 융합하고 최종 공유 레이어를 통과한다.
- Wide-Shallow, Narrow-Deep, Balanced 3가지 변형을 0.8B~2.1B 규모에서 실험한 결과, 2개 가지를 가진 Wide-Shallow MBT는 같은 파라미터·학습 비용의 순차 Transformer를 일관되게 능가했다.
- Balanced MBT는 성능을 더욱 개선했으며, 가지 수가 증가해도 비슷한 품질을 유지했다.
- Joint-KV 기법은 각 깊이에서 가지들의 표현으로부터 공유 KV 캐시를 구성해 긴 맥락 추론 효율을 높인다.
- 최종 조합 모델의 스케일링 곡선에서 표준 Transformer는 같은 검증 손실을 맞추려면 최대 1.26배의 학습 계산량이 필요했다.
- H200 GPU에서 KV 캐시 저장량을 최대 34% 감소, 디코딩 처리량을 최대 51.4% 향상시켰다.
- 절제 연구(Ablation study)에서 가지 분기가 단순 가로·세로 변화 이상의 이득을 주며, 여러 융합 함수에 견디고, 중간층에서 가장 효과적임을 확인했다.