在近期 OSCHINA颁发的“2021 年度 OSCHINA 优秀开源技术团队”奖项榜单中,有道技术团队凭借在 2021 年间的技术分享频率及质量、运营积极性等多方面的表现成功入选。

在各种因素的推动下,国内开源已经呈现出了一个欣欣向荣的态势。而开源项目社区与技术团队是开源生态发展进程中不可或缺的中坚力量。
youdao
有道开源|EMLL
ydtech
网易有道AI团队自主设计研发了高性能端侧机器学习计算库——EMLL(Edge ML Library),并已开源。
EMLL 为加速端侧 AI 推理而设计,提供基于端侧处理器的高性能机器学习计算库,支持fp32、fp16、int8等数据类型,已在网易有道词典笔、翻译王和超级词典等智能硬件产品的 NMT、ASR、OCR 引擎中应用,大幅提高计算性能,提升用户体验。
开源地址:https://github.com/netease-youdao/EMLL
网易有道自研端侧机器学习计算库已在网易有道词典笔、超级词典、翻译王等智能硬件产品中使用,带来以下好处:
端到端性能相对于使用eigen库加速1.3到2.43倍,效果显著,大大降低了端侧推理引擎的延迟。除了在有道智能硬件带来了较好的性能提升,我们在配置骁龙855的某款手机上也做了性能测试,端到端性能相对于eigen提升了25%-55%,效果明显。
端侧推理引擎采用EMLL之后,可以上线更大的AI模型,提高质量,并保证实时性,如端侧NMT质量(BLEU)提升2个点,端侧ASR准确度提升4.73%。
EMLL可以保证在更低端芯片上实时性,如在cortex-A7上使用Eigen库无法达到实时性,使用EMLL之后延迟大幅降低,并保证实时性效果。EMLL可以让智能硬件更多的芯片选择,从而降低成本,提高市场竞争力。

端侧NMT、ASR、OCR在不同平台上使用EMLL和eigen端到端性能加速比
EMLL 高性能端侧机器学习计算库,已经在网易有道多款智能硬件产品中实际应用并取得显著的效果,大幅提升性能,给用户带来更好的产品体验。
未来,网易有道将持续维护和优化EMLL,帮助更多企业、科研机构等伙伴提升端侧AI计算能力。欢迎各位开发者朋友使用并提出宝贵意见。
更多内容可阅读相关文章:


在未来
有道技术团队也会不遗余力地助力国内开源发展
积极引进优秀的开源项目
并和开源社区积极合作
为开源生态贡献自己的力量
往期推荐




本文分享自微信公众号 - 有道技术团队(youdaotech)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。