38억 파라미터 LLM을 998달러에 학습시키다
원제 Training a 3.8B LLM to 0.384 CORE for $998
108 포인트댓글 17
Key Point
개인 개발자가 수천 달러 규모로 의미 있는 규모의 언어 모델을 학습할 수 있는 현실적인 경로와 구체적 최적화 기법을 보여주며, AI 인프라 설계의 중요성을 강조하는 사례입니다.
핵심 요약
- 3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다.
- B200 GPU 8개 렌탈 비용 $998로 GPT-2 대비 훨씬 나은 성능을 구현했으며, 같은 비용대의 nanochat d32보다 의미 있게 우수하다.
- Trapezoidal LR 스케줄, Muon 옵티마이저, ClimbMix 데이터셋, FP8 학습, 1024 토큰 컨텍스트 등 다섯 가지 최적화로 858M 모델의 실패 사례에서 개선했다.
- YAML 기반 설정 프레임워크를 구축해 코드 수정 없이 옵티마이저나 데이터셋을 한 줄로 교체할 수 있게 하는 등 인프라 설계에 중점을 뒀다.
- 초기 시행착오에서 FineWeb-Edu와 높은 학습률 설정 문제를 발견했고, 학습 후반부까지 손실이 감소하는 trapezoidal 스케줄로 해결했다.