5周年更新 | OpenVINO™  2023.0,让AI部署和加速更容易

原创
2023/06/06 17:00
阅读数 196

时光匆匆,岁月荏苒,OpenVINO™迎来了5岁生日。5岁,对于OpenVINO™来说还是个很年轻的年纪,一如正在茁壮成长的少年,每天都迸发着无穷的生命力。

在这5年里,OpenVINO™密切关注市场需求,着眼未来发展趋势,不断迭代更新,将其对模型的支持从计算机视觉扩展到自然语言处理,深化了其框架集成,并持续提高可移植性和性能。

值此生日之际,OpenVINO™ 工具套件再度升级, 发布了更加易用,更高性能,更加灵活,更加开放,更加全面的最新版本 2023.0 ,帮助您更容易进行AI部署和加速,使您能充分体验利用AI部署带来的无限可能。
在最新版本中,您可以利用开源工具套件进行开发,优化神经网络性能。借助全面的功能和智能特性, OpenVINO™还可以充当您软件中的性能工程师。



OpenVINO
更多的集成,最大限度减少代码变更


在2023.0的最新版本中,您可以在构建端轻松地集成到您现有的代码库中,确保轻松维护,并更好地实现与各种框架保持一致。此外,2023.0版本也完成了如下突破:

  • NEW: TensorFlow前端–OpenVINO™使从训练模型转移到部署变得更加容易。在优化模型时,您不再需要离线转换TensorFlow模型,而是可以自动进行。现在,您可以采用标准的TensorFlow模型,并将其直接加载到OpenVINO™ Runtime或OpenVINO™ model Server中。当需要最大性能时,仍然鼓励离线转换为OpenVINO™格式。

  • NEW: C++开发人员现在可以从Conda Forge安装OpenVINO™运行时。




OpenVINO
更广泛的模型支持


为开发者们提供更广泛的模型支持,是我们持续前进的目标和方向。在最新版本中,您可以轻松优化和部署更多模型, 包括NLP, 并通过新的硬件功能获得更多AI加速,这些也是我们在优化面上的持续创新和探索。

NO.1

更广泛的生成式AI模型的支持

CLIP BLIP, stable diffusion 2.0, 文本处理模型: GPT, Transformer 模型 (i.e. S-BERT, GPT-J 等), 以及其他值得注意的模型: Detectron2, Paddle Slim, RNN-T,Segment Anything Model (SAM),  Whisper,  YOLOv8等。

初始支持基于GPU的动态输入
NO.2

开发人员在利用GPU(CPU于2022年启用)时不再需要更改为静态输入,这使您在编码方面具有更大的灵活性, 这一点在NLP模型上尤为重要。

NO.3

神经网络压缩框架(NNCF)成为量化工具的一种选择

通过压缩模型中的数据,可以更容易地实现明显的模型性能改进。此前,OpenVINO™有单独的工具用于训练后优化(POT)和训练感知量化。我们将这两种方法组合成一个工具——NNCF。





OpenVINO
出色的可移植性和性能


产品进步,初心不改,OpenVINO™一直在致力于完善“AI部署”这件重要的小事。

在2023.0的最新版本中,您可以通过跨各种处理器(包括CPU、GPU等)的自动设备检测、负载均衡和动态并行推理能力, 获得即时性能提升。

0 1


CPU设备插件现在在Intel®第12代CORE及以上版本上提供线程调度,开发人员可以根据应用程序的优先级选择在E核、P核或两者上运行推理。有了这一点,现在可以根据需要优化性能或节能。

0 2


NEW: 默认推理精度。无论您使用的插件是什么,OpenVINO都将默认提供最佳性能的格式。例如,FP16用于GPU,BF16用于第四代Intel® Xeon®,因此您不再需要采取额外的步骤,并且如果需要,您仍然可以选择加载FP32。

0 3


通过更高效的模型加载/编译改进了GPU上的模型缓存。


2023.0的最新版本目前已开放下载 ,感兴趣的您可扫描下方二维码下载安装,与更多开发者们一起尽享新版之欢,共庆OpenVINO™五周岁之乐。


新的升级将带来新的需求,唯有产品不停地升级迭代,才能与保持进步的每一位开发者共同进步、成长。
感谢一直以来给OpenVINO™的各种建议和支持的社区成员,正是因为你们的陪伴,OpenVINO™的每一步才格外的坚定。
期待与你们的下一个5年!



--END--

             
             
             
你也许想了解(点击蓝字查看)⬇️
➡️ OpenVINO™ DevCon重磅回归!
➡️  以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC
➡️  还不知道如何用OpenVINO™作画?点击了解教程。
➡️  如何给开源项目做贡献? | 开发者节日福利
➡️   几行代码轻松实现对于PaddleOCR的实时推理,快来get!
➡️   使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理
➡️  图片提取文字很神奇?试试三步实现OCR!
➡️ 【Notebook系列第六期】基于Pytorch预训练模型,实现语义分割任务

            
            
            



                     
                     
                     


点击 阅读原文 立即体验OpenVINO 2023.0
文章这么精彩,你有没有“在看”?


本文分享自微信公众号 - OpenVINO 中文社区(openvinodev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部