bojieli/ai-infra-book
LLM 시대 인프라 설계의 첫 걸음, 공개 교과서
원제 bojieli/ai-infra-book
스타 7,820당일 +127Python
Key Point
대규모 언어 모델을 실제로 배포할 때 지연 시간과 비용이 몇 배 차이나는 원인을 하드웨어와 시스템 설계에서 찾고 정량적으로 분석하는 방법을 배울 수 있다.
핵심 요약
- LLM 추론과 훈련 시스템을 하드웨어 제약과 모델 구조에서 출발해 정량적으로 설계하는 방법을 다룬 오픈소스 교과서를 공개했다.
- 전체 12장으로 구성되며 초기 입출력, 모델 아키텍처, 추론·훈련 부하, 가속기 아키텍처, 알고리즘과 런타임, 다중 기기 협력, 데이터센터 네트워크, 추론 최적화, 분산 추론, 훈련 시스템, 자원 스케줄링, 엣지-클라우드 협력을 다룬다.
- 책의 핵심 방법론은 '제약에서 설계로'로, 작업과 품질 요구사항을 정의한 뒤 계산·저장·통신 비용을 하드웨어 성능과 비교해 수량적으로 추정한다.
- KV 캐시, 대역폭 공급, 카드 간 통신, 데이터 이동 같은 실제 병목을 놓치지 않으면서 '무엇을 옮길까, 얼마나, 몇 번, 어디를 통해, 누가 기다릴까'의 다섯 가지 질문을 반복해 추적한다.
- 정적 계산 도구와 실험이 함께 제공되며, 각 계산은 Python 3.10 이상 표준 라이브러리로만 동작해 GPU나 모델 가중치가 필요 없다.
- 간체 중문 원본(PDF·EPUB·온라인) 외에 영문, 정체 중문, 러시아어 번역본도 공개했으며, 배포 때마다 자동으로 구성을 갱신한다.
- 모델 응용, 추론 서비스, 시스템·네트워크, 칩·구조 분야의 엔지니어와 연구자, 학생이 각자 필요한 장을 선택해 읽을 수 있으며, 책의 사례들을 직접 계산하고 자신의 모델과 하드웨어로 결론을 검증할 것을 권장한다.
- 기술 문서 작성자인 리보제(李博杰)가 저술했으며, 50k+ 스타를 받은 'AI Agent 책'의 자매편으로 기획되었다.
- 오류 지적·명확하지 않은 부분 개선·누락된 내용 보충·코드 버그 수정·웹 버전 개선·다른 언어 번역 등 여러 방향의 기여를 받고 있다.
저장소 보기 ↗github.com