메타, 816B 파라미터 오픈 모델 뮤즈 스파크 공개

핵심 요약

• 메타가 코딩과 에이전트 작업에 최적화된 뮤즈 스파크 오픈을 공개했으며, 이는 미국에서 가장 강력한 오픈 웨이트 모델이다.
• 모델은 총 816B 파라미터(활성 42B)를 가진 네이티브 멀티모달 모델로 1M 토큰 컨텍스트 윈도우를 지원한다.
• 처음으로 Apple M5 Ultra Mac Studio 2대에서 최신 MLX 프레임워크를 사용해 데스크톱에서 직접 실행 가능하다.
• M5 Ultra의 512GB 통합 메모리와 1.2TB/s 메모리 대역폭으로 두 Mac이 1TB 통합 메모리를 가진 슈퍼컴퓨터처럼 동작한다.
• 개발자는 Baseten, Fireworks AI, Groq, Modal 등 7개 API 플랫폼과 Hugging Face, Google Cloud 등에서 모델 가중치에 접근할 수 있다.
• SGLang, vLLM, TensorRT-LLM, Apple MLX, llama.cpp 등 주요 추론 엔진을 지원하며 AMD, Apple, Intel, NVIDIA 칩에 최적화되었다.
• 실제 테스트에서 Muse Code로 iOS 앱의 버그 수정, 새 기능 추가, 전체 빌드를 실행했고, DaVinci Resolve 영상 편집도 프레임 단위로 검토하며 자동으로 수행했다.
• SGLang의 커스텀 GPU 커널로 NVIDIA와 AMD GPU에서 1.03~3.95배 커널 속도 향상을 달성했고, AMD MI350에서는 3% 엔드투엔드 성능 향상을 기록했다.
• 메타 슈퍼인텔리전스 스케일링 프레임워크에 따라 안전성 평가를 완료했으며, 추가 안전 후처리 훈련이 적용되었다.
• 뮤즈 모델 라이선스로 제한된 상용 조건 하에 공개되며, 많은 개발자는 무료로 사용할 수 있다.
• PyTorch의 TorchTitan으로 추가 튜닝이 가능하며, Apple 실리콘에서는 MLX를 사용해 Hugging Face에서 가중치를 직접 로드할 수 있다.