OpenVINO课程回顾之上集:基础课程 | 解锁更多使用技巧

原创
2023/02/22 17:00
阅读数 430

"一年之计在于春,不负韶华不负己。“近期,多位英特尔技术专家联袂带来了三期干货分享,带小伙伴们进一步学习了OpenVINO™使用技巧,探索了如何基于OpenVINO™进行高性能深度学习推理。

本篇是分享的上集OpenVINO™基础课程回顾看看OpenVINO™满级师兄师姐们给我们带来了哪些干货?想要快速上手的小伙伴们快看过来哦。

0 1


OpenVINO™概览


说到OpenVINO™大家应该肯定都不陌生,它是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度的工具套件,支持各种英特尔平台的硬件加速器上进行深度学习,并且允许直接异构执行

目前,OpenVINO™已经可以支持市面上所有主流的深度学习框架所训练出来的深度学习模型,并且可以帮助大家部署在英特尔的CPU、gpu、VPU、FPGA等多个硬件模型上。


此外,据武卓博士介绍,为了更方便开发者小伙伴们使用,OpenVINO™为大家创建了简便的开发者旅程,这段旅程分为三步:


  • 创建我们已经在Open Model Zoo里面为大家提供了近300个经过验证、优化的开源深度学习模型,方便大家直接拿去使用。

  • 优化在优化这个关键步骤上,提供了Model Optimizer(MO)、Neural Network Compression Framework(NNCF)、Post-Training Optimization Tool(POT)等多个优化工具。

  • 部署只需要简单几行代码,就可以得到AI推理结果。除此之外,也为大家提供了多种可以部署在多个硬件平台的工具,最值得一提的是2022.2版本推出的虚拟设备插件Auto Device,它可以为大家自动化的选择和发现最为适合去进行推理的设备,然后将推理运行在设备上。

感兴趣的小伙伴们,可以扫码观看回放,了解更多这段开发者旅程哦

0 2


Open Model Zoo


第二节分享则是英特尔高级AI工程师杨亦诚老师为大家带来的Open Model Zoo概览

Open Model Zoo是英特尔官方的预训练模型库,是由预训练模型Demo应用模型工具库三个核心组件组件组成。


预训练模型

为大家提供了近300个预训练+优化后的模型,这些模型由英特尔训练的模型和来自公开的开源模型库组成。


Demo应用

在预训练模型的专属页面中,找到所适配的Demo应用链接,编译完成相应Demo并执行,就能看到该模型最终呈现效果以及精度情况。


模型工具库
  • 模型下载器(Model Downloader)

  • 精度检测器(Accuracy Checker)

  • 性能评估工具(Benchmark App)

0 3


模型优化工具与优化技巧


紧接着,杨亦诚老师解析了模型在离线优化方面使用的一些方法和技巧。

如上图所示,模型优化的优点有目共睹,那这就不得不提到MO、NNCF和POT工具这三大模型优化工具了。

MO工具除了可以完成模型格式转化之外,还可以通过线性操作融合、步长优化、分组卷积融合帮助模型进行深度优化。NNCF工具POT工具,都属于量化工具,可以进一步帮助大家压缩模型提及的工具和组件。NNCF工具是在在训练过程中,完成精度感知量化;POT工具则是在训练完成后,再针对这个模型进行进一步压缩和量化。

模型量化是指通过压缩相关参数,提升推理速度,进一步降低内存占用。如下图,通过量化,模型性能得到极大提升。

想必你也很好奇,OpenVINO™在模型量化阶段如何完成一系列操作?那就扫进回放学起来吧!

0 4


推理引擎与运行时优化技巧


针对推理引擎与运行时的优化,杨亦诚老师先带我们熟悉了OpenVINO™ Runtime的调用步骤,并分析了在OpenVINO™ API调用过程中比较关键的可配置参数Thread、Stream与Infer Request。


此外,杨亦诚老师还介绍了运行时优化的三种策略,并剖析了这三种策略的使用技巧与注意事项:

  • General Optimizations

  • Optimizing for Latency and Throughput 

  • Advanced Throughput Options

在2022.2版本中,它还可以通过跨 CPU、GPU 等的设备发现、负载均衡和推理并行来进行自动优化哦。

END

看到这

小伙伴们是否也收获满满?

快蓄力启航,

打开OpenVINO™

共赴这场精彩的复习之旅吧~



             
             
             
你也许想了解(点击蓝字查看)⬇️
➡️ 开发者实战 | 基于C#和OpenVINO™部署飞桨PP-Human 上篇
➡️ “开源项目贡献”经验分享 | 百度黑客松大赛获奖者梁嘉铭
➡️  “开源项目贡献”经验分享 | 百度黑客松大赛获奖者邰秀瑢
➡️  如何给开源项目做贡献? | 开发者节日福利
➡️   几行代码轻松实现对于PaddleOCR的实时推理,快来get!
➡️   使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理
➡️  图片提取文字很神奇?试试三步实现OCR!
➡️ 【Notebook系列第六期】基于Pytorch预训练模型,实现语义分割任务


👇欢迎在留言区与我们互动哦,
点击小程序 留言区 即可参与

留言区

            
            
            


扫描下方二维码立即体验 

OpenVINO™ 工具套件 2022.3





点击 阅读原文 立即体验OpenVINO 
文章这么精彩,你有没有“在看”

本文分享自微信公众号 - OpenVINO 中文社区(openvinodev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部