Hugging Face 논문AI · 머신러닝

Adam의 효율성으로 2차 최적화의 성능을 얻는 경량 SOAP 변형

원제 Factored One-sided Adam-Moment for Practical and Scalable SOAP

추천 14댓글 3Jaemyung Yu, Byeongho Heo, Sangdoo Yun 외
Key Point

2차 최적화의 성능 이득을 Adam 수준의 효율로 실현할 수 있는 방법이 등장했으며, 대규모 언어모델 학습에서 메모리와 계산 비용을 크게 낮출 수 있다.

핵심 요약

  • Shampoo, SOAP 같은 2차 최적화 알고리즘이 Adam보다 빠른 수렴을 약속하지만, 실제로는 높은 메모리 비용과 고유값 분해 오버헤드로 인해 실용성이 떨어진다는 문제가 있다.
  • FOAM(Factored One-sided Adam-Moment)은 이 한계를 해결하기 위해 제안된 경량 SOAP 변형이다.
  • FOAM은 입력 측 전처리만 사용하고 출력 측 크로네커 인수를 제거해 메모리를 줄이고 한 번의 고유값 분해를 없앤다.
  • 헤시안의 크로네커 구조상 이 방식은 대각 출력 곡률에 대해 정확하며, 거의 대각에 가까운 경우 손실이 미미함을 실험적으로 확인했다.
  • FOAM은 SOAP의 조밀한 회전 2차 모멘트를 행-열 통계 기반의 인수화 Adam 모멘트 추정기로 대체한다.
  • K-FAC 피셔 가정과 대각 출력 곡률 하에서 이 추정기는 SOAP의 조밀한 2차 모멘트를 정확히 복원하며, 측정된 K-FAC 위반도는 15~20%로 업데이트에 무시할 수 있는 영향을 미친다.
  • 124M~760M 파라미터 규모의 언어모델 사전학습 실험에서 FOAM은 SOAP, Muon과 동등한 검증 손실을 달성하면서 SOAP 대비 절반의 최적화 상태 메모리를 사용한다.
  • 벽시계 시간(wall-clock time) 기준으로 Muon 수준의 속도를 유지하고 3배 범위의 학습률 변화에도 견고성을 보인다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗