OpenVINO™工具包可快速部署模拟人类视觉的应用程序和解决方案。该工具包基于卷积神经 网络(CNN),可在英特尔®硬件上扩展计算机视觉(CV)工作负载,从而最大限度地提高性能。OpenVINO™工具包括深度学习部署工具(DLDT)。
OpenVINO简介
OpenVINO是英特尔推出的一款全面的工具套件,用于快速部署视觉应用和解决方案,支持计算机视觉的CNN网络结构超过150余种。
- OpenVINO™工具包介绍
- OpenVINO™最新发布
- OpenVINO™开发文档主页
- OpenVINO™开发文档简介
- 安装适用于Linux*的英特尔®分发版OpenVINO™工具包
- 安装适用于Windows* 10 的英特尔®分发版OpenVINO™工具包
- 安装适用于macOS*的英特尔®分发版OpenVINO™工具包
- 安装适用于Raspbian* 的英特尔®分发版OpenVINO™工具包
- 英特尔®深度学习部署工具包简介
- 图像分类C++示例(异步模式)
- 对象检测C++示例(SSD)
- 自动语音识别C++示例
- 动作识别Python*演示
- 十字路口摄像头C++演示
- 人姿估算C++演示
- 交互式人脸检测C++演示
- 预训练模型:human-pose-estimation-0001
- 预训练模型:text-detection-0004
- 预训练模型:face-detection-adas-0001
我们有了各种开源框架,比如tensorflow,pytorch,mxnet等,为什么还要推荐OpenVINO来作为部署工具呢?OpenVINO是一个Pipeline工具集,可以完成算法模型部署所需要的各种能力。对于AI工作负载来说,OpenVINO提供了深度学习推理套件(DLDT),该套件可以将各种开源框架训练好的模型进行线上部署,除此之外,还包含了图片处理工具包OpenCV,视频处理工具包Media SDK。在做推理的时候,大多数都需要前处理和后处理,前处理如通道变换,取均值,归一化等,后处理是推理后,需要将检测框等特征叠加至原图等,都可以使用OpenVINO工具套件里的API接口完成。
深度学习部署套件DLDT
对于算法工程师来说,OpenCV已经非常熟悉,这里重点讲一下深度学习部署套件DLDT。
DLDT分为两部分:
- 模型优化器(Model Optimizer)
- 推理引擎(Inference Engine)
其中,模型优化器是线下模型转换,推理引擎是部署在设备上运行的AI负载。
模型优化器是一个python脚本工具,用于将开源框架训练好的模型转化为推理引擎可以识别的中间表达,其实就是两个文件,xml和bin文件,前者是网络结构的描述,后者是权重文件。
推理引擎是一个支持C++和python的一套API接口,需要开发人员自己实现推理过程的开发,开发流程其实非常的简单,核心流程如下:
- 装载处理器的插件库
- 读取网络结构和权重
- 配置输入和输出参数
- 装载模型
- 创建推理请求
- 准备输入Data
- 推理
- 结果处理