매개변수 40% 줄인 루프백 트랜스포머 논문
Key Point
매개변수 효율성을 유지하면서 성능을 높이는 트랜스포머 구조의 새로운 방향을 제시하며, 대규모 모델의 학습과 배포 비용 절감에 직접 영향을 미칩니다.
핵심 요약
- 반복 적용되는 공유 블록으로 매개변수를 줄이는 루프드 트랜스포머(Looped Transformer)에서 매개변수 공유만으로는 반복 계산 결과를 재사용하는 방식이 결정되지 않는다고 지적합니다.
- 깊이-메모리 관점에서 잔차 연결을 분석하면, 각 블록 적용 후 어떤 표현이 저장되고 이후 단계에서 어떻게 가중치가 매겨지는지 파악할 수 있습니다.
- 블록의 전체 출력은 입력과 새로운 업데이트를 모두 포함하므로, 이를 가중치화하면 입력이 이미 전달하는 이력까지 재가중치화됩니다.