openvinotoolkit/openvino
딥러닝 모델 최적화·배포 오픈소스 'OpenVINO' 주목
원제 openvinotoolkit/openvino
스타 11,911당일 +202C++
Key Point
엣지부터 클라우드까지 다양한 환경에서 여러 프레임워크의 모델을 최적화·배포할 수 있는 통합 솔루션으로, LLM부터 컴퓨터 비전까지 광범위한 AI 작업에 활용 가능하다.
핵심 요약
- 인텔이 개발한 OpenVINO는 딥러닝 모델을 최적화하고 에지부터 클라우드까지 다양한 환경에 배포하는 오픈소스 툴킷이다.
- PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 등 주요 프레임워크로 학습한 모델을 직접 지원하며, Hugging Face Hub의 Transformers와 Diffusers 모델도 Optimum Intel을 통해 통합할 수 있다.
- CPU(x86, ARM), GPU(인텔 통합·별도 GPU), NPU 등 여러 하드웨어 플랫폼에서 추론을 실행할 수 있고, 프레임워크 없이도 모델을 변환·배포할 수 있다.
- C++, Python, C, NodeJS 등 다양한 API를 제공하며, GenAI API로 최적화된 LLM 파이프라인 실행을 지원한다.
- NNCF(Neural Network Compression Framework)로 양자화·희소성 같은 고급 최적화 기법을 적용할 수 있고, OpenVINO Model Server로 인텔 아키텍처 최적화 모델을 고성능으로 서빙할 수 있다.
- vLLM, ONNX Runtime, ExecuTorch, Torch.compile, LangChain, LlamaIndex 등과 통합되며, Keras 3도 OpenVINO를 백엔드로 선택 가능하다.
- LLM 챗봇, YOLOv11 최적화, 텍스트-이미지 생성, 자동 음성 인식, 다중모드 어시스턴트 등 다양한 샘플과 주피터 노트북을 제공한다.
- 성능 벤치마크와 최적 하드웨어 구성 가이드를 문서로 제시하며, Apache License 2.0으로 오픈소스이다.
저장소 보기 ↗github.com