英特尔® Distribution of OpenVINO™ 工具套件的 ONNX 格式支持介绍

原创
2021/03/10 08:20
阅读数 1.9K

点击蓝字

关注我们,让开发变得更有趣


内 容 来 源 |  英特尔开发人员专区

作 者 | Yury Gorbachev - 英特尔资深首席工程师

          Ilya Churaev – 英特尔软件工程师



新年伊始,万象更新。本期我们将为大家介绍英特尔® Distribution of OpenVINO™工具套件ONNX格式支持及其它增强功能。

精彩抢先看



  • 通过本文您可以了解OpenVINO™工具套件加载和执行模型的基本流程和原理。

  • 以及如何使用OpenVINO™工具套件,来简化和支持加载ONNX格式模型及流水线化作业部署。

开发和部署深度学习模型到生产环境中,通常涉及几个步骤:数据集准备,模型架构选择,模型训练,部署上线。模型训练是在灵活且比较容易测试的实验环境(例如TensorFlow和PyTorch等框架)中进行的,而部署通常会考虑性能和健壮性。


由于不同框架生成的模型都有其特定格式表示,所以将模型从原始训练框架部署到目标推理引擎的解决方案可能会比较复杂。在OpenVINO™工具套件中,我们使用模型优化器将模型从原始训练框架格式导入并生成IR(中间表示,即工具套件中的内部格式)。当模型转换为IR后,就不会再需要依赖于其训练框架的表示形式了;因此,无需在部署时使用原始训练框架的软件组件,可以交由OpenVINO™工具套件中的推理引擎组件来负责执行。

ONNX(Open Neural Network Exchange)是一个不断衍化的模型格式行业标准,其设计目标是成为模型开发到生产环境的桥梁,并且可以在模型中使用未知的参数表示。这种解耦方式使模型训练开发人员可以自由选择其构建方式。


此前,英特尔® Distribution of OpenVINO™工具套件通过模型优化器离线转换为IR格式来支持ONNX格式。但是, OpenVINO™工具套件从2020.4版本开始,就完全支持ONNX文件格式作为OpenVINO™工具套件推理引擎的输入。


在最新的发布版本中,不仅支持全精度(即FP32)模型,还包括使用ONNX工具针对INT8进行了低精度量化的模型。OpenVINO™工具套件把ONNX模型转换为本地表示形式,按照标准模型推理执行流程加载部署即可。

邀 请 您 参 与



我们欢迎您为开源OpenVINO™工具套件贡献代码,如果您有任何关于深度学习和OpenVINO™工具套件的相关话题或改进建议,请点击文末“阅读原文”或者扫描下方二维码进入社区论坛一起讨论。




 --END--


不要错过(点击蓝字查看)⬇️

➡️ 「OpenVINO 中文社区」2020全年回顾

-

你也许想了解(点击蓝字查看)⬇️

➡️ ROS + OpenVINO | ROS C++ 代码规范

➡️ 让技术回归教育,AI 迭代智慧化校园

➡️ 基于 Intel 架构的车联网智能边缘计算

➡️ NexCOBOT 利用英特尔®视觉加速器设计产品为工业 4.0 提供 AI 机器人

➡️ OpenVINO™ 工具套件应用案例之停车场监控系统

➡️ OpenVINO 让数字菜单板具有更多乐趣

➡️ Intel 架构支持的下一代 AI 视频搜索

➡️ SVET 边缘侧视频分析业务性能评估套件

➡️ 运用 OpenVINO 自制自动驾驶车视觉系统

➡️ 多摄像头社交距离检测用例

➡️ 最新 OpenVINO 安装教程

➡️ ESH for OpenVINO Community 概览

➡️ ESH for OpenVINO 智能交通管理用例

➡️ OpenVINO 配置系统环境变量

➡️ OpenVINO human pose estimation 例程运行

➡️ 基于 OpenVINO Python SDK 环境配置与运行

-

你也许想知道(点击蓝字查看)⬇️

➡️ 我能通过哪些渠道进行提问?

➡️ 关于 OpenVINO 的常见问题




👇欢迎在留言区与我们互动哦,
点击小程序 留言区 即可参与

留言区






 点击 “ 在看 ”,让更多人看见


点击阅读原文跳转观看精彩视频!

本文分享自微信公众号 - OpenVINO 中文社区(openvinodev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部