OpenVINO工具包-视觉智能与部署流程

原创
2020/06/24 21:42
阅读数 3.5K

OpenVINO™工具包可快速部署模拟人类视觉的应用程序和解决方案。该工具包基于卷积神经 网络(CNN),可在英特尔®硬件上扩展计算机视觉(CV)工作负载,从而最大限度地提高性能。OpenVINO™工具包括深度学习部署工具(DLDT)。

OpenVINO简介

OpenVINO是英特尔推出的一款全面的工具套件,用于快速部署视觉应用和解决方案,支持计算机视觉的CNN网络结构超过150余种。

我们有了各种开源框架,比如tensorflow,pytorch,mxnet等,为什么还要推荐OpenVINO来作为部署工具呢?OpenVINO是一个Pipeline工具集,可以完成算法模型部署所需要的各种能力。对于AI工作负载来说,OpenVINO提供了深度学习推理套件(DLDT),该套件可以将各种开源框架训练好的模型进行线上部署,除此之外,还包含了图片处理工具包OpenCV,视频处理工具包Media SDK。在做推理的时候,大多数都需要前处理和后处理,前处理如通道变换,取均值,归一化等,后处理是推理后,需要将检测框等特征叠加至原图等,都可以使用OpenVINO工具套件里的API接口完成。

深度学习部署套件DLDT

对于算法工程师来说,OpenCV已经非常熟悉,这里重点讲一下深度学习部署套件DLDT。

DLDT分为两部分:

  • 模型优化器(Model Optimizer)
  • 推理引擎(Inference Engine)

其中,模型优化器是线下模型转换,推理引擎是部署在设备上运行的AI负载。

模型优化器是一个python脚本工具,用于将开源框架训练好的模型转化为推理引擎可以识别的中间表达,其实就是两个文件,xml和bin文件,前者是网络结构的描述,后者是权重文件。

推理引擎是一个支持C++和python的一套API接口,需要开发人员自己实现推理过程的开发,开发流程其实非常的简单,核心流程如下:

  1. 装载处理器的插件库
  2. 读取网络结构和权重
  3. 配置输入和输出参数
  4. 装载模型
  5. 创建推理请求
  6. 准备输入Data
  7. 推理
  8. 结果处理

更多参考

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部