Hugging Face 논문AI · 머신러닝

병렬 가지로 나뉜 트랜스포머, 같은 비용에 성능 26% 향상

원제 Multi-Branch Transformer

추천 44댓글 3Gaotang Li, Lingjie Chen, Chunyuan Deng 외
Key Point

병렬 가지 구조가 같은 학습 비용으로 성능을 26% 향상시키고 추론 속도와 메모리 효율을 동시에 개선하는 실제적인 모델 확장 경로를 보여준다.

핵심 요약

  • 기존 Transformer 모델 확장(가로 확대 또는 깊이 추가) 외에 새로운 경로를 탐색하는 Multi-Branch Transformer(MBT)를 제시한다.
  • 초기 공유 레이어를 거친 입력이 여러 개의 독립적 블록 가지들을 병렬로 처리한 뒤, 그 출력을 융합하고 최종 공유 레이어를 통과한다.
  • Wide-Shallow, Narrow-Deep, Balanced 3가지 변형을 0.8B~2.1B 규모에서 실험한 결과, 2개 가지를 가진 Wide-Shallow MBT는 같은 파라미터·학습 비용의 순차 Transformer를 일관되게 능가했다.
  • Balanced MBT는 성능을 더욱 개선했으며, 가지 수가 증가해도 비슷한 품질을 유지했다.
  • Joint-KV 기법은 각 깊이에서 가지들의 표현으로부터 공유 KV 캐시를 구성해 긴 맥락 추론 효율을 높인다.
  • 최종 조합 모델의 스케일링 곡선에서 표준 Transformer는 같은 검증 손실을 맞추려면 최대 1.26배의 학습 계산량이 필요했다.
  • H200 GPU에서 KV 캐시 저장량을 최대 34% 감소, 디코딩 처리량을 최대 51.4% 향상시켰다.
  • 절제 연구(Ablation study)에서 가지 분기가 단순 가로·세로 변화 이상의 이득을 주며, 여러 융합 함수에 견디고, 중간층에서 가장 효과적임을 확인했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗