로컬에서 돌리는 에이전트 모델 Muse Glimmer 30B 공개
원제 Muse Glimmer 30B: An On-Device Agentic Model
추천 11댓글 3
Key Point
GPU 한 개면 충분한 수준의 에이전트 능력을 로컬에서 운영할 수 있어, 개발자들이 클라우드 비용 없이 독립적인 AI 시스템을 구축하는 방식을 바꿀 수 있습니다.
핵심 요약
- Hugging Face가 Muse Glimmer 30B라는 오픈소스 언어모델을 공개했습니다.
- 일반 PC에서 클라우드 없이 독립적으로 동작하는 에이전트 모델로, 텍스트와 이미지를 입력받고 텍스트를 출력합니다.
- 다단계 추론, 도구 사용, 실패 복구 능력을 통합했으며 100개 이상의 언어로 학습되었습니다.
- 4비트 정밀도로 양자화되어 단일 GPU에서 효율적으로 실행됩니다.
- 도구 사용, 멀티스텝 계획, 에이전트 작업 완료 벤치마크에서 같은 규모의 Gemma 4-31B와 Qwen 3.6-27B를 능가합니다.
- Apache 2.0 라이선스로 공개되어 오픈소스 로컬 AI 에이전트 개발을 촉진합니다.