NVIDIA의 NVL72 시스템, 올바른 스케줄러로 GPU 활용률 27% 향상

핵심 요약

• InfiniBand 대신 NVLink를 쓸 때 분산 학습 성능이 43% 향상되는데, 전통적으로 NVLink는 단일 노드 내 통신만 지원했다.
• NVIDIA의 NVL72 시스템은 한 랙의 72개 GPU를 통합 NVLink 패브릭으로 연결하면서 멀티 노드 AI 워크로드를 고대역폭으로 처리할 수 있게 했다.
• 대규모 학습에서 텐서 병렬화와 전문가 병렬화는 통신 병목이 되는데, 64웨이 전문가 병렬화를 사용하면 InfiniBand에서 학습 시간의 최대 60%가 통신에 소비된다.
• NVL72에서는 64개 GPU가 단일 NVLink 도메인 안에 머물러 통신 병목이 사라진다.
• 추론에서도 모델 병렬화를 통해 KV 캐시를 늘리고 처리량을 높일 수 있으며, DeepSeek-R1 제공 시 32웨이 전문가 병렬화로 8GPU 서버보다 4.4배 높은 GPU당 처리량을 낼 수 있다.
• NVL72 랙의 각 GPU는 18개 NVLink 포트를 가지며 1.8TB/s 대역폭을 제공하고, 전체 랙 내부 대역폭은 130TB/s이다.
• GPU는 신뢰성이 낮아 Meta는 4GPU 노드당 평균 490일의 평균 무고장 시간을 기록했으며, NVL72에서는 18배 더 큰 장애 반경 때문에 전체 랙이 약 27일마다 중단된다.
• 랙당 2개 노드를 예비로 확보하면 단일 노드 장애가 전체 랙을 셧다운시키지 않으며, 2% 노드 불가용률에서 18노드 슬라이스(1,602개 노드)보다 16노드 슬라이스(2,037개 노드)가 27% 더 많은 사용 가능 용량을 제공한다.
• 16노드는 64개 GPU(2의 거듭제곱)로 병렬화 그룹 크기 관례와 맞는 자연스러운 크기이다.
• SkyPilot의 토폴로지 인식 스케줄러(TAS)는 멀티 노드 작업의 워커를 같은 랙에 배치하여 InfiniBand 대신 NVLink 통신을 강제한다.
• NVIDIA의 GR00T 팀이 512개 GB300 GPU로 로봇 기초 모델을 사전학습할 때, 랙 인식 슬라이스 기반 스케줄링이 순진한 스케줄러보다 처리량을 14.4% 높였으며(1.59초 → 1.39초/반복), 10,000 GPU 클러스터에서 시간당 1만 6,700달러를 절감한다.
• 대규모 공유 클러스터에서는 작업이 다른 시간에 완료되면서 여유 GPU가 랙 전체에 산재되는 단편화가 발생한다.
• SkyPilot의 자동 단편화 제거(Auto Defrag)는 작업이 용량 부족이 아닌 토폴로지 제약으로 차단되면 체크포인트에서 복구 가능한 작업들을 선택적으로 선점하여 전체 랙을 확보하고 차단된 작업을 스케줄링할 수 있다.