딥러닝 모델 최적화·배포 오픈소스 'OpenVINO' 주목
Key Point
엣지부터 클라우드까지 다양한 환경에서 여러 프레임워크의 모델을 최적화·배포할 수 있는 통합 솔루션으로, LLM부터 컴퓨터 비전까지 광범위한 AI 작업에 활용 가능하다.
핵심 요약
- 인텔이 개발한 OpenVINO는 딥러닝 모델을 최적화하고 에지부터 클라우드까지 다양한 환경에 배포하는 오픈소스 툴킷이다.
- PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 등 주요 프레임워크로 학습한 모델을 직접 지원하며, Hugging Face Hub의 Transformers와 Diffusers 모델도 Optimum Intel을 통해 통합할 수 있다.
- CPU(x86, ARM), GPU(인텔 통합·별도 GPU), NPU 등 여러 하드웨어 플랫폼에서 추론을 실행할 수 있고, 프레임워크 없이도 모델을 변환·배포할 수 있다.
저장소 보기 ↗github.com