GitHub TrendingAI · 머신러닝오늘의 주요

jingyaogong/minimind

2시간 만에 64M 언어모델 훈련하는 MiniMind 오픈소스

원제 jingyaogong/minimind

스타 68,102당일 +488Python
Key Point

개인 GPU로 대규모 모델 훈련의 허들을 극단적으로 낮춘 완전 오픈 LLM 학습 프레임워크로, 프리트레인부터 RL까지 모든 과정을 처음부터 직접 구현하면서 배울 수 있다.

핵심 요약

  • 개인 개발자도 단 3천원과 2시간으로 64M 파라미터 소형 언어모델 MiniMind를 처음부터 훈련할 수 있도록 설계한 오픈소스 프로젝트를 공개했다.
  • MiniMind-3는 Dense 아키텍처로 64M 파라미터, MiniMind-3-MoE는 198M-A64M 규모이며, Qwen3 생태와 구조를 맞추었고 모두 PyTorch 원생 구현으로 써드파티 라이브러리 추상화에 의존하지 않는다.
  • 예훈련, 감독 미세조정(SFT), LoRA, DPO, PPO/GRPO/CISPO 같은 RLAIF, 도구 사용, 에이전트 RL, 적응형 사고, 모델 증류 등 전체 훈련 파이프라인 코드와 데이터셋을 공개했다.
  • NVIDIA 3090 단일 GPU에서 pretrain_t2t_mini + sft_t2t_mini 조합으로 약 2.31시간, 비용 약 3원이면 대화 가능한 MiniMind Zero 모델을 만들 수 있다.
  • MoE 버전은 4개 전문가, top-1 라우팅 사용, 단일 GPU에서 약 3.23시간 소요된다.
  • RoPE 회전 위치 인코딩에 YaRN 외삽을 지원해 훈련 없이 2048 이상 긴 문맥으로 확장 가능하다.
  • 도구 호출 능력은 sft_t2t/sft_t2t_mini 주선 데이터에 Qwen3 기반 약 10만 샘플이 혼합되어 기본 제공되며, 별도 훈련 불필요하다.
  • 생각 과정 표시 기능은 chat_template 계층에서 open_thinking 스위치로 동적 제어되며, 훈련 시 빈 think 태그와 명시적 reasoning 데이터를 혼합해 학습한다.
  • DPO 알고리즘은 PPO의 KL 제약된 목표에서 선호 쌍의 해석적 훈련 목표로 직접 도출되어, 보상/가치 모델 동시 훈련 없이 액터와 참조 모델만으로 작동한다.
  • GitHub/Hugging Face/ModelScope에서 pretrain_t2t_mini, sft_t2t_mini, dpo.jsonl, rlaif.jsonl, agent_rl.jsonl 등 훈련 데이터셋이 공개되어 별도 전처리 불필요하다.
  • llama.cpp, vLLM, Ollama 같은 추론 엔진과 Transformers, TRL, PEFT 등 주류 프레임워크와 호환되며, OpenAI API 프로토콜 기반 간단한 서버, Streamlit 기반 웹 UI도 제공한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗