Arm NN 成功适配 openEuler Embedded,提供高性能神经网络推理能力

2023/05/31 19:00
阅读数 91
AI总结

近期,RISC-V SIG 完成了 Arm NN 在 openEuler Embedded 系统的适配,于 2023 年 1 月合入系统构建工程代码库,经测试验证可用,实现了神经网络加速库在 openEuler Embedded 嵌入式系统上的加速和优化。

系统构建工程下载地址:https://gitee.com/openeuler/yocto-meta-openeuler

支持 Arm NN 的 openEuler Embedded 系统已向社区开放

openEuler Embedded 是基于 openEuler 社区面向嵌入式场景的 Linux 版本,由于嵌入式系统应用受到多个因素的约束,如资源、功耗、多样性等, 所以通过嵌入式处理器内核进行机器学习成为了技术发展需要,ARM 推出 Arm NN 加速库就是解决方法之一,将机器学习运用到嵌入式系统中。提供高性能神经网络推理能力,支持边、端协同工作,提升资源利用率。

目标检测是在嵌入式平台上运行机器学习的工作负载之一

以目标检测为示例,验证 ArmNN 的推理加速效果:

  1. 模型:yolov3 tiny(FLOAT32 量化)
  2. 训练数据:COCO
  3. 测试数据:640*480 H264 视频

通过实验证明,在精度损失可接受范围内,Arm NN 加速可达到百倍的性能提升。如下图所示,其中横轴表示检测图片序号,纵轴表示推理耗时(单位:us):

注:musl-ref 是指基于 MuslC 的 Openeuler Embedded 且不做任何加速,musl-acc 是指基于的 Openeuler Embedded 且使能 ArmNN 的指令加速和优化。

为了适配 openEuler Embedded 系统, Arm NN 软件需兼容 yocto-meta-openeuler,并在上做了很多准备工作,如 tensorflow 的适配,Compute Library 的适配,flatbuffers 的使用等。openEuler Embedded Arm NN 的构建代码位于 meta-openeuler/recipes-arm 层上,社区开发者可根据需要自行构建 ArmNN 软件。

Arm NN:融合主流神经网络框架,为用户提供高效的 AI 应用平台

Arm NN SDK 是一套开源 Linux 软件和工具,支持在高能效的设备上运行机器学习工作负载。它桥接了现有神经网络框架与高能效的 Arm Cortex CPUs、Arm Mali GPU 或 Arm 机器学习处理器。

Arm NN 填补了现有 NN 框架和底层 IP 之间的空白。它可以帮助 TensorFlow 和 Caffe 等现有神经网络框架实现高效转换,并在 Arm Cortex CPU 和 Arm Mali GPU 上高效运行,无需修改。

主要优势

  • 更轻松地在嵌入式系统上运行 TensorFlow 和 Caffe;
  • Compute Library 内部的一流优化函数,让用户充分发挥底层平台的强大性能;
  • 无论面向何种内核类型,编程模式都是相同的;
  • 现有软件能够自动利用新硬件特性;
  • 作为开源软件,能够相对简单地进行扩展,从而适应 Arm 合作伙伴的其他内核类型。

Arm NN 为 openEuler Embedded 系统带来人工智能的新活力

Arm NN 为 openEuler Embedded 提供全系统的神经网络优化方案,支持在高能效的设备上运行机器 学习工作负载。为了充分利用不同平台的软硬件特性,在 Linux 系统上提供 ARM CPU 上的神经网络加速能力,使用硬件指令加速库接口,使其面向目标硬件。目前,Arm NN 软件库在 openEuler Embedded 系统上的适配工作基本完成, RISC-V SIG 也将持续研发更多新功能,并移植最新的 openEuler Embedded 系统镜像。为了加快 openEuler Embedded 系统人工智能应用场景落地,我们诚邀感兴趣的朋友和测试志愿者加入并下载开发版镜像,共同探索并解决可能存在的问题,推动 openEuler 人工智能开发生态的繁荣发展!

联系我们

中科院软件所于佳耕微信

添加请备注RVOS

关于作者

徐丹丹,就职于南京软件技术研究院,操作系统组成员,负责神经网络加速库 Arm NN 到 openEuler Embedded 系统的适配,以及其在性能和功能方面的进一步研究及日常维护等。


本文分享自微信公众号 - openEuler(openEulercommunity)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
AI总结
返回顶部
顶部