처음부터 LLM 훈련하기, 모든 코드를 PyTorch로 직접 작성

핵심 요약

• Attention is All You Need 논문을 기반으로 PyTorch에서 트랜스포머 모델을 처음부터 구현한 튜토리얼 저장소.
• 단일 GPU로 수백만~수십억 개 파라미터 규모의 LLM을 훈련할 수 있으며, 데이터 전처리부터 텍스트 생성까지 전체 과정을 다룬다.
• trl, peft, transformers 같은 외부 라이브러리 없이 모든 알고리즘을 순수 PyTorch로 구현했다.
• 사전학습(pretraining), SFT, 보상 모델, DPO/ORPO/KTO, PPO, GRPO 등 포스트트레이닝 기법까지 동일한 작은 트랜스포머에서 구현했다.
• 학생·개발자·연구자를 위해 단계별 설명, 실행 명령어, 소스 코드를 함께 제공하며 무료 GPU(Colab T4)로 13M 파라미터 모델 훈련이 가능하다.