百度飞桨端侧AI部署月,看如何在Jetson硬件上更好地部署AI模型

2021/05/11 01:28
阅读数 68

点击左上方蓝字关注我们

AI应用的部署正逐渐从服务器端走向移动终端和边缘端,覆盖了包括安防、交通、医疗、巡检等等多个行业。服务器上的部署,往往需要通过网络连接来传输数据,因而带来了更大的网络延时。让AI模型在本地硬件上执行推理,不仅可以降低因网络延时带来的问题,而且还能够让用户的数据保存在本地,避免了数据隐私相关的问题。

英伟达的Jetson系列硬件,依托GPU算力,是专门为端上部署而推出的硬件,在市场上实现了广泛的应用。该产品包括Jetson Nano,TX2,Xavier,NX多个系列,满足了端上部署对算力的各种需求。

不同于服务器上的硬件,端上硬件往往计算资源和内存资源比较有限,如何充分利用硬件资源,并实现快速推理,是衡量AI推理引擎的重要考量因素。

具体到Jetson硬件,往往需要结合英伟达的TensorRT加速库,才能够实现最高速的推理性能。

飞桨作为国内首个功能完备的深度学习平台,在端侧AI模型部署上,提供了一系列的产品,满足用户的不同场景的部署需求。

对于英伟达的Jetson硬件,飞桨的原生推理库Paddle Inference能够无缝对接飞桨框架,支持飞桨的开发套件,实现对模型的即训即用,而且还能够结合TensorRT,实现对硬件算力的充分利用。同时,在端侧还可以结合模型压缩工具PaddleSlim,利用量化训练、剪枝、蒸馏等方法,实现模型的性能进一步加速。

我们还会分享内存优化,预测库裁减等秘诀,教大家如何有效利用有限的端侧计算资源。除此之外,我们还会为大家讲解如何通过Paddle Inference + Jeston实现Paddle各种开发套件SOTA模型的部署。

那么对于有集成功能要求的伙伴们,我们还有飞桨企业版BML全功能AI开发平台,在本次的系列课程中,也有针对BML开发部署实战的专场课程,从端侧部署难点入手,围绕垃圾分类这一实用项目,对模型边缘部署技术原理和部署详细流程进行深入讲解与实战演示,教你如何快速实现模型压缩及部署,打通模型训练到端部署开发全流程。

扫描下方二维码,立即报名加入技术交流群

“端侧AI部署月”精彩内容抢先看

飞桨继四月推出的“服务器端AI部署月” 大获好评之后,五月份还将继续推出“端侧AI部署月”系列线上直播活动。在这个系列直播课中,我们将为大家详细讲解如何在各种端侧的场景实现AI部署,课程干货满满,敬请期待呦!

点击文末『阅读原文』立即报名:

https://paddle.wjx.cn/vj/hxGcile.aspx?udsid=809479

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,是中国首个开源开放、技术领先、功能完备的产业级深度学习平台,包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件,持续开源核心能力,为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台,针对企业级需求增强了相应特性,包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业,提供零门槛、预置丰富网络和模型、便捷高效的开发平台;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END

点击"阅读原文",立即报名!

↓↓↓

本文同步分享在 博客“飞桨PaddlePaddle”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部