매개변수 40% 줄인 루프백 트랜스포머 논문
원제 Loopback Transformer: Towards a Unified View of Residual Looped Transformers
추천 21댓글 2
Key Point
매개변수 효율성을 유지하면서 성능을 높이는 트랜스포머 구조의 새로운 방향을 제시하며, 대규모 모델의 학습과 배포 비용 절감에 직접 영향을 미칩니다.
핵심 요약
- 반복 적용되는 공유 블록으로 매개변수를 줄이는 루프드 트랜스포머(Looped Transformer)에서 매개변수 공유만으로는 반복 계산 결과를 재사용하는 방식이 결정되지 않는다고 지적합니다.
- 깊이-메모리 관점에서 잔차 연결을 분석하면, 각 블록 적용 후 어떤 표현이 저장되고 이후 단계에서 어떻게 가중치가 매겨지는지 파악할 수 있습니다.
- 블록의 전체 출력은 입력과 새로운 업데이트를 모두 포함하므로, 이를 가중치화하면 입력이 이미 전달하는 이력까지 재가중치화됩니다.
- 루프백 트랜스포머는 개별 업데이트를 읽되 공유 스택의 입력을 별도 경로에 유지해 입력 강도, 전체 업데이트 가중치, 업데이트 간 할당을 독립적으로 제어합니다.
- 기하급수적 감쇠가 전체 업데이트 가중치와 최근성 편향을 설정하고, 어텐션이 그 가중치를 할당하는 방식을 학습합니다.
- ClimbMix 벤치마크에서 루프백은 191M부터 3B 규모까지 표준 트랜스포머 대비 40~75% 매개변수(토큰 임베딩과 출력 헤드 제외)로 더 낮은 검증 손실을 달성했습니다.
- 훈련 토큰과 실행 깊이가 동일한 조건에서 1.4B와 3B 규모에서는 13개 다운스트림 태스크의 평균 정확도가 높습니다.
- 191M, 374M, 778M 규모에서는 표준 트랜스포머와 7가지 루프드 잔차 설계 중 가장 낮은 검증 손실과 가장 높은 13개 태스크 평균을 기록했습니다.