Mac Studio에서 816B 모델 실행, MLX의 분산 추론 기능 공개

핵심 요약

• Apple이 MLX 최신 버전을 공개하며 Mac Studio에서 Muse Spark Open(816B 파라미터, MoE 모델)을 실행할 수 있음을 시연했다.
• 단일 Mac Studio(M5 Ultra, 512GB 통합 메모리)에서 27B~128B 규모 모델(Qwen 3.8, Mistral Medium 3.5)은 정상 작동하며, TTFT는 M3 대비 최대 4.6배 빨라졌고 토큰 생성 속도는 1.6배 향상됐다.
• M5 Ultra의 GPU 신경 가속기는 행렬 곱셈 연산을 전담하여 컴퓨팅 한계 작업을 가속화하고, 통합 메모리 대역폭이 819GB/s에서 1.2TB/s로 증가해 메모리 한계 작업을 개선했다.
• 단일 머신에 맞지 않는 Muse Spark Open(BF16 형식 1.6TB 필요)은 NVFP4 양자화로 493GB로 압축되며, 파이프라인 병렬화로 두 Mac Studio에 분산 실행할 수 있다.
• 파이프라인 병렬화는 모델을 깊이 방향으로 분할하며 구현이 단순하고 통신 오버헤드가 낮지만, 65,536 토큰 대규모 컨텍스트에서는 프리필 시 1.8배 가속화된다.
• 텐서 병렬화는 모델을 너비 방향으로 분할하여 더 높은 성능을 제공하지만 구현이 복잡하고 계층별로 많은 소규모 통신이 필요하다.
• 4개 M5 Ultra에서 텐서 병렬화 시 Muse Spark Open은 8,192 토큰 컨텍스트에서 36토큰/초 생성 속도를 달성하며, 두 Thunderbolt 케이블 메시 연결이 프리필 시간을 50.5초에서 40.6초로 단축한다.
• MLX는 Thunderbolt 5 RDMA 드라이버 위에 jaccl 통신 라이브러리를 구축하여 Mac 간 저지연 인터머신 통신을 지원한다.
• MLX_METAL_FAST_SYNCH=1 플래그는 CPU-GPU 간 동기화 오버헤드를 줄이는 실험적 기능이며, mlx.launch 헬퍼로 다중 노드 작업 실행이 간편해졌다.
• agentic AI 애플리케이션은 mlx_lm.server로 로컬 LLM 서버를 띄우고 OpenCode 같은 도구를 설정하여 http://127.0.0.1:8080/v1 엔드포인트로 접근 가능하다.
• M5 Ultra의 Neural Accelerator 소프트웨어 지원, Thunderbolt RDMA 저지연 통신, MoE 아키텍처 구현이 결합되어 800B 규모 모델을 로컬에서 구동 가능하게 했다.
• Mac Studio는 65,536 토큰 컨텍스트 추론 시 M3 Ultra 200W, M5 Ultra 300W의 낮은 전력 소비로 가정이나 사무실 환경에 배포할 수 있다.