$100으로 GPT-2급 AI 모델을 직접 훈련하는 nanochat 공개

핵심 요약

• Andrej Karpathy가 nanochat을 공개했으며, 이는 단일 GPU 노드에서 LLM 전체 파이프라인(토큰화, 사전학습, 미세조정, 평가, 추론)을 실행할 수 있는 최소한의 실험 코드다.
• GPT-2 수준의 모델을 8개의 H100 GPU로 약 1.5~2시간 만에 $48 정도의 비용으로 훈련할 수 있으며, 스팟 인스턴스 사용 시 $15 수준까지 내려간다.
• 코드는 --depth 하나의 파라미터로 모델 규모를 조절하면 변압기의 폭, 헤드 수, 학습률, 가중치 감소 등 다른 모든 하이퍼파라미터가 자동으로 최적으로 계산된다.
• 현재 leaderboard에서 GPT-2 동급 성능(CORE 스코어 0.256525 이상)을 달성하는 데 걸리는 시간을 기록하고 있으며, 최신 기록은 1.65시간으로 단축됐다.
• Python 기반이며 PyTorch로 작성되었고, A100 GPU나 단일 GPU에서도 실행 가능하지만 메모리나 시간이 더 필요하다.
• 정밀도는 기본적으로 H100 같은 SM 80+ GPU에서는 bfloat16, 구형 GPU에서는 float32로 자동 설정되며 NANOCHAT_DTYPE 환경변수로 변경할 수 있다.
• 사용자는 단일 파일인 runs/speedrun.sh를 실행하면 전체 훈련과 추론 파이프라인이 자동으로 수행되며, 완료 후 CLI를 통해 훈련된 모델과 대화할 수 있다.
• 연구자를 위해 스케일링 법칙과 미니 시리즈를 탐구하는 별도의 스크립트를 제공하며, 빠른 실험을 위해 12~16층 모델로 ~5분 훈련을 권장한다.
• 모든 모델 변경 사항은 다양한 깊이 설정에서 작동해야 하는 원칙 아래 구성되어 있으므로 compute-optimal 모델 계열을 효과적으로 생성할 수 있다.
• 기여자들은 PR 제출 시 LLM의 상당한 기여 부분을 공개해야 하며, 목표는 $1000 이하의 예산으로 접근 가능한 소형 모델 개선이다.