역전파 없이 트랜스포머를 학습하는 'Dust' 알고리즘 등장

핵심 요약

• 연구진이 역전파를 대체하는 첫 번째 0차 최적화 방법 'Dust'를 제시했으며, 대규모 언어 모델 사전학습에서 역전파와 경쟁 가능한 성능을 보인다.
• Dust는 모든 토큰에서 독립적으로 활성화를 교란하여 각 토큰을 가상 개체군 구성원으로 취급하고, 한 번의 순전파에서 수천 개의 개체군 구성원을 병렬로 평가한다.
• 가중치 공간 진화 전략(EGGROLL)보다 1000배~10000배 효율적이며, 100만 토큰 이상에서 이를 달성한다.
• 기존 통념과 달리, 더 큰 모델이 더 작은 모델보다 개체군 효율성이 높으며, 243M 파라미터 모델이 120배 작은 모델을 대부분의 개체군 크기에서 능가한다.
• Dust는 선형층의 출력에 가우시안 노이즈를 추가하고 손실 감소로 각 토큰의 노이즈에 보상하며, 보상 가중 노이즈의 평균값으로 층의 출력 오차를 추정한다.
• 어텐션 레이어는 개별적으로 교란되며, 토큰의 손실보다는 어텐션 출력의 추정 오차로 보상받는다.
• 10M 토큰에서 Dust의 성능이 역전파에 근접하며, 20M 토큰에서 더 큰 개체군 크기에서 역전파를 초과할 가능성이 있다.
• Adam 옵티마이저에서도 작동하며, Dust의 추정값이 현대 옵티마이저와 호환되지만 향후 공진화로 더 개선될 수 있다.
• 논문은 방대한 본문에서 본 알고리즘의 기초를 다지는 데 초점을 맞추고 있으며, 오늘날 역전파를 완전히 대체할 계산 효율성을 목표로 하지 않는다.
• Dust의 그래디언트 추정값은 개체군이 증가함에 따라 역전파의 값과 더 잘 정렬되며, 10억 토큰까지의 모든 규모에서 정렬 상태가 유지된다.
• 다양한 토큰 예산(100k~20M)과 개체군 크기(64~16k)에서 체계적으로 평가되었으며, 검증 손실로 선택된 체크포인트에서 테스트 손실을 보고한다.