JAX만으로 DeepSeek V3 구현, 190줄 코드로 MacBook에서 학습
원제 Show HN: DeepSeek V3 in ~200 lines of pure Jax
101 포인트댓글 6
Key Point
순수 JAX로 DeepSeek V3 전체 아키텍처를 간결하게 구현한 오픈소스 프로젝트로, 최신 대형 언어모델의 내부 동작을 학습 코드와 함께 읽고 이해할 수 있는 기회를 제공한다.
핵심 요약
- DeepSeek V3 기술 보고서의 아키텍처를 순수 JAX 190줄로 구현하고, MacBook Air에서 처음부터 학습했다.
- 멀티헤드 레이턴트 어텐션(MLA)은 토큰당 480개에서 144개 숫자로 압축하여 캐시 크기를 줄였고, 디커플된 RoPE와 DeepSkMoE(공유 전문가 1개 + 라우팅된 전문가 16개, 토큰당 상위 4개 선택) 기법을 적용했다.
- 보조 손실 없는 밸런싱은 전문가별 바이어스를 조정하여 라우팅을 유휴 전문가로 유도하고, 시퀀스 단위 밸런스 손실(α = 1e-4)과 멀티토큰 예측(λ = 0.3) 모듈을 추가했다.
- MacBook Air M5(24GB)에서 207권 책 21.7M 토큰으로 12,000스텝 학습 시 약 2.6시간이 소요되었고 토큰당 10.7k 토큰/초 처리 속도를 기록했다.
- 모델은 3,620만 파라미터(토큰당 활성 1,360만 개)이며, 검증 손실은 250스텝에서 5.02에서 3.51로 내려갔고, 밸런싱 바이어스 적용 시 전문가 부하가 5.7~6.9%로 균등하게 분산되었다.
- 바이어스 활성화 여부와 관계없이 2,000스텝 검증 손실이 거의 동일(3.921 vs 3.923)하여 성능 저하 없이 전문가 로드 밸런싱이 가능함을 보였다.
- 학습 데이터는 모두 미국 공개 도메인이며, 대시엘 해밋의 소설 4편과 프로젝트 구텐베르크의 탐정·범죄 소설 약 200권을 사용했다.
- 코드는 MIT 라이선스이고, 체크포인트와 데이터셋을 v1.0 릴리스에서 제공하며, Apple Silicon Mac에서 재현 가능하도록 설정, 학습, 생성, 시각화 스크립트를 모두 공개했다.
- 간단히 한 구현이므로 밀집 MoE 계산(선택되지 않은 전문가 제로화), 가중치 흡수 미적용, FP8 학습·DualPipe·컨텍스트 확장·사후 학습 미포함 등의 차이가 있다.
- 아키텍처 데모로서 3,620만 파라미터·6계층·256토큰 컨텍스트로 축소했으며, 원본 DeepSeek V3(6,710억 파라미터·61계층·128K 컨텍스트)와 규모가 다르다.