LLM 시대 인프라 설계의 첫 걸음, 공개 교과서
Key Point
대규모 언어 모델을 실제로 배포할 때 지연 시간과 비용이 몇 배 차이나는 원인을 하드웨어와 시스템 설계에서 찾고 정량적으로 분석하는 방법을 배울 수 있다.
핵심 요약
- LLM 추론과 훈련 시스템을 하드웨어 제약과 모델 구조에서 출발해 정량적으로 설계하는 방법을 다룬 오픈소스 교과서를 공개했다.
- 전체 12장으로 구성되며 초기 입출력, 모델 아키텍처, 추론·훈련 부하, 가속기 아키텍처, 알고리즘과 런타임, 다중 기기 협력, 데이터센터 네트워크, 추론 최적화, 분산 추론, 훈련 시스템, 자원 스케줄링, 엣지-클라우드 협력을 다룬다.
- 책의 핵심 방법론은 '제약에서 설계로'로, 작업과 품질 요구사항을 정의한 뒤 계산·저장·통신 비용을 하드웨어 성능과 비교해 수량적으로 추정한다.
저장소 보기 ↗github.com