时光匆匆,岁月荏苒,OpenVINO™迎来了5岁生日。5岁,对于OpenVINO™来说还是个很年轻的年纪,一如正在茁壮成长的少年,每天都迸发着无穷的生命力。
在这5年里,OpenVINO™密切关注市场需求,着眼未来发展趋势,不断迭代更新,将其对模型的支持从计算机视觉扩展到自然语言处理,深化了其框架集成,并持续提高可移植性和性能。
在2023.0的最新版本中,您可以在构建端轻松地集成到您现有的代码库中,确保轻松维护,并更好地实现与各种框架保持一致。此外,2023.0版本也完成了如下突破:
NEW: TensorFlow前端–OpenVINO™使从训练模型转移到部署变得更加容易。在优化模型时,您不再需要离线转换TensorFlow模型,而是可以自动进行。现在,您可以采用标准的TensorFlow模型,并将其直接加载到OpenVINO™ Runtime或OpenVINO™ model Server中。当需要最大性能时,仍然鼓励离线转换为OpenVINO™格式。
NEW: C++开发人员现在可以从Conda Forge安装OpenVINO™运行时。
为开发者们提供更广泛的模型支持,是我们持续前进的目标和方向。在最新版本中,您可以轻松优化和部署更多模型, 包括NLP, 并通过新的硬件功能获得更多AI加速,这些也是我们在优化面上的持续创新和探索。
CLIP BLIP, stable diffusion 2.0, 文本处理模型: GPT, Transformer 模型 (i.e. S-BERT, GPT-J 等), 以及其他值得注意的模型: Detectron2, Paddle Slim, RNN-T,Segment Anything Model (SAM), Whisper, YOLOv8等。
开发人员在利用GPU(CPU于2022年启用)时不再需要更改为静态输入,这使您在编码方面具有更大的灵活性, 这一点在NLP模型上尤为重要。
通过压缩模型中的数据,可以更容易地实现明显的模型性能改进。此前,OpenVINO™有单独的工具用于训练后优化(POT)和训练感知量化。我们将这两种方法组合成一个工具——NNCF。
产品进步,初心不改,OpenVINO™一直在致力于完善“AI部署”这件重要的小事。
在2023.0的最新版本中,您可以通过跨各种处理器(包括CPU、GPU等)的自动设备检测、负载均衡和动态并行推理能力, 获得即时性能提升。
CPU设备插件现在在Intel®第12代CORE及以上版本上提供线程调度,开发人员可以根据应用程序的优先级选择在E核、P核或两者上运行推理。有了这一点,现在可以根据需要优化性能或节能。
NEW: 默认推理精度。无论您使用的插件是什么,OpenVINO都将默认提供最佳性能的格式。例如,FP16用于GPU,BF16用于第四代Intel® Xeon®,因此您不再需要采取额外的步骤,并且如果需要,您仍然可以选择加载FP32。
通过更高效的模型加载/编译改进了GPU上的模型缓存。

你也许想了解(点击蓝字查看)⬇️
➡️ OpenVINO™ DevCon重磅回归!
➡️
以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC
➡️
还不知道如何用OpenVINO™作画?点击了解教程。
➡️
如何给开源项目做贡献? | 开发者节日福利
➡️
几行代码轻松实现对于PaddleOCR的实时推理,快来get!
➡️
使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理
➡️
图片提取文字很神奇?试试三步实现OCR!
➡️
【Notebook系列第六期】基于Pytorch预训练模型,实现语义分割任务


本文分享自微信公众号 - OpenVINO 中文社区(openvinodev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。