세레브라스, 3조개 파라미터 모델을 59개 웨이퍼에 분산 배포
원제 Cerebras Deploys Trillion-Parameter AI Models
149 포인트댓글 53
Key Point
대규모 언어모델 추론 인프라의 실제 배포 방식을 보여주는 기술 사례로, GPU가 아닌 웨이퍼 기반 칩에서 조 단위 모델을 어떻게 효율적으로 운영하는지 알 수 있다.
핵심 요약
- 세레브라스 WSE-3T 웨이퍼 하나는 44GB의 온칩 메모리를 가지지만, 조 단위 모델의 가중치는 테라바이트 규모여서 여러 웨이퍼에 분산 배포해야 한다.
- 3조 파라미터 규모의 공개 모델 키미 K3를 예시로, 4비트 양자화 기준 각 레이어는 약 16GB가 필요하다.
- 키미 K3의 경우 69개 선형 주의 레이어(각 웨이퍼당 2개씩 배치 가능)와 24개 밀집 레이어(각 웨이퍼당 1개씩, 나머지는 KV 캐시용)로 총 59개 웨이퍼가 필요하다.
- 웨이퍼들은 파이프라인으로 연결되며, 가중치는 칩 내에 고정되고 활성화만 웨이퍼 간에 RDMA로 전달되므로 모델 레이어를 분할할 필요가 없다.
- 여러 요청을 동시에 서빙할 때 파이프라인의 각 스테이지가 서로 다른 요청을 동시에 처리하므로, 배치 크기 1이 아닌 파이프라인 병렬화를 통해 고효율을 유지한다.
- 각 스테이지는 마이크로배치를 처리할 수 있어 동시 요청 수는 스테이지 개수와 마이크로배치 크기의 곱에 가깝다.
- 밀집 레이어가 있는 웨이퍼의 남은 메모리(28GB)로 256k 요청당 약 183MB의 KV 캐시를 저장하면 약 153개의 동시 요청을 지원할 수 있다.
- 이 접근법은 더 큰 모델로도 확장 가능하며, 웨이퍼를 추가할 때마다 계산량과 메모리가 증가해 모델 용량 제약을 극복할 수 있다.