루핑 트랜스포머의 역전파 자르기, 규모 법칙으로 최적값 찾다

핵심 요약

• 루핑 트랜스포머는 공유 레이어 블록을 반복 사용해 학습 가능한 매개변수 수는 유지하면서 계산 깊이를 늘리는 구조이며, 역전파 시간(BPTT)으로 학습된다.
• 학습 계산량을 줄이기 위해 BPTT를 최근 몇 루프로 잘라내는 방식이 흔하지만, 잘라냄으로 인한 기울기 편향이 루핑의 이점을 약화시킬 수 있다.
• 연구팀은 약 600번의 학습 실행을 통해 모델 크기, 학습 토큰 수, 정방향·역방향 루프 횟수를 함께 변화시켜 루핑과 잘라냄의 효과를 포착하는 통합 규모 법칙을 도출했다.
• 잘라냄이 학습 계산량을 절약하지만, 정방향과 역방향 루프 횟수를 함께 최적화할 때는 완전한(자르지 않은) BPTT가 더 낫다는 것을 규모 법칙이 보여준다.
• 같은 계산량으로 비교할 때, 완전 BPTT를 적은 루프에 적용하는 것이 같은 계산량의 잘라낸 설정들보다 항상 성능이 좋다.
• 모델 크기가 고정될 때, 계산량-최적 루프 횟수와 학습 토큰 예산은 모두 전체 계산량에 따라 증가한다.
• 모델 크기도 자유롭게 조정할 수 있을 때는 완전히 학습된 2개 루프가 가장 좋은 루핑 설정이다.
• 이 설정으로 실험한 결과, 비루핑 모델 대비 임베딩을 제외한 매개변수는 27% 적으면서도 검증 손실은 더 낮고, 학습 계산량만 8% 더 필요하다.