당신의 PC 성능에 최적화된 오픈 모델 추천·실행 엔진 'Magnitude'

핵심 요약

• Rust로 개발된 오픈소스 추론 엔진으로, 소유한 하드웨어에서 최적으로 동작하는 오픈 모델을 찾고 튜닝하는 데스크톱 애플리케이션이다.
• 머신 프로파일링을 통해 당신의 하드웨어 사양을 분석한 후, 다운로드 전에 각 모델과 양자화 버전의 예상 추론 속도(tok/s)를 추정해 사용자가 최적의 모델을 선택하도록 돕는다.
• Ollama나 LM Studio와 달리, 사용자가 선택한 모델을 컨텍스트 크기와 추측 디코딩 등으로 정확한 하드웨어에 맞게 튜닝한다.
• Apple Silicon, NVIDIA GPU, AMD GPU, CPU 전용 머신 등 다양한 환경을 지원하며, macOS, Linux, Windows용 네이티브 데스크톱 앱을 제공한다.
• Pi, OpenCode, Hermes, Cline 등의 에이전트와 원클릭으로 연동되고, 모델은 요청 시 로드되었다가 유휴 상태이거나 메모리 부족 시 자동으로 언로드된다.
• 모든 프롬프트, 파일, 모델이 사용자 머신에만 저장되어 완전히 오프라인으로 동작하며 개인정보 보호를 보장한다.
• 토큰 비용, API 키, 속도 제한이 없는 무료 소프트웨어이고, Apache 2.0 라이선스로 공개되어 사용자가 수정할 수 있다.
• 고정 최소사양이 없으며, 시스템 메모리가 많을수록 더 큰 모델을 실행할 수 있고, 백그라운드에서 자동으로 관리된다.