깊은 신경망에서 잔차 연결이 정말 효과적일까
원제 DepthBench: Measuring How Residual Connections Enable More Computational Depth
추천 27댓글 1
Key Point
Transformer 모델 설계에서 깊이를 늘릴 때 어떤 구조 기법이 실제로 효과적인지를 과학적으로 증명하는 연구로, 향후 대규모 모델 개발 방향을 결정하는 기초가 될 수 있다.
핵심 요약
- Transformer의 깊이를 늘리면 계산 능력이 증가하지만, 깊어질수록 추가 레이어의 기여도가 감소하는 문제가 있다.
- 최근 LayerNorm Scaling, mHC, AttnRes 같은 기법들이 정규화와 잔차 연결을 개선해 정보 흐름을 강화한다고 주장한다.
- 하지만 이런 기법들이 실제로 아키텍처 깊이를 계산상 깊이로 전환하는지, 다른 요인의 영향은 없는지 불명확하다.
- 연구팀은 DepthBench 벤치마크를 제안해 모델 크기와 학습 방식을 고정한 채 폭과 깊이 비율을 변화시키며 10개 아키텍처를 비교했다.
- 표준 Pre-LN과 대부분의 정규화·스케일링 변형은 깊어지고 좁아질수록 성능이 저하되거나 이득이 미미했다.
- 반면 HC(Residual Normalization)와 Full AttnRes는 극단적으로 깊고 좁은 구조에서도 일관되게 성능이 개선됐다.
- 이 개선은 사전학습 손실을 넘어 특정 도메인 성능과 유효 계산량으로도 나타났다.
- 레이어 단위 분석 결과 HC와 Full AttnRes의 성능 향상은 추가 레이어를 더 효과적으로 활용한 것과 연관됐으며, 아키텍처별로 계산 깊이 메커니즘이 다르게 작동함을 보였다.
- 결론적으로 잔차 연결 설계가 깊이를 의미 있는 스케일링 축으로 만들 수 있는지를 결정하는 핵심 요소다.