추론 모델을 직접 구현하는 11시간 강의 공개
원제 Sebastian Raschka's from-scratch video course on building reasoning models
296 포인트댓글 38
Key Point
추론 모델 구현의 핵심 기법들(강화학습, 추론 시점 스케일링, 증류)을 직접 코딩하면서 배울 수 있는 완전한 실습 자료가 공개되어, LLM 개발자가 최신 추론 기술의 동작 원리를 깊이 있게 이해할 수 있다.
핵심 요약
- Sebastian Raschka가 8개 비디오, 11시간 분량의 추론 모델 구현 강의를 공개했다.
- Python과 PyTorch로 평가, 추론 시점 스케일링, 강화학습, 증류를 처음부터 끝까지 구현한다.
- 사전학습된 Qwen 0.6B 모델을 출발점으로, KV 캐싱, 다양한 텍스트 생성, 답 검증기 구축 등을 단계별로 다룬다.
- 자기일관성(self-consistency)으로 여러 답을 조합하고, 온도 스케일링과 top-p 필터링으로 다양한 응답을 생성하는 추론 시점 스케일링을 구현한다.
- 검증 가능한 보상으로 강화학습(RLVR)하는 GRPO 알고리즘을 구현하며, 정책 손실 클리핑, KL 손실항, 엔트로피 추적 등의 개선 사항을 추가한다.
- 강화학습 대신 더 큰 모델(DeepSeek R1)에서 생성한 답으로 학습하는 증류 방식도 구현하고 MATH-500 데이터셋으로 성과를 비교한다.
- 강의는 Manning과 Amazon에서 출판된 같은 제목의 책과 함께하며, LinkedIn Learning 90분 개념 강의를 선행하기를 권장한다.
- Python과 PyTorch 기초는 필수이고, 초기 텍스트 생성은 CPU에서, 학습은 GPU에서 수행하는 것을 권장한다.