龙蜥解锁倚天底层算力,加速数据智能化关键技术落地

2023/11/21 20:03
阅读数 12
2023 云栖大会上,龙蜥社区联合倚天共同举办了《龙蜥与倚天软硬件结合,加速企业数据智能创新》专场。本专场带来了云原生处理器最新技术,邀请了龙蜥社区、ARM、阿里云、平头哥等资深技术专家首次解密基于云原生倚天芯片的软硬件协同、全栈优化等关键技术,如何突破内存墙化解数据中心税,及以上关键技术在阿里云 PaaS/SaaS 场景、电商超大规模场景落地实践。龙蜥+倚天软硬件结合,加速企业数据智能底层算力关键技术,以及倚天 ECS 产品大规模落地实践等内容。
首先,阿里云 ECS 高级架构师张先国带来 《倚天再进化-加速企业数据智能创新》 。给大家介绍了阿里云为什么设计一款云原生计算架构,通过软硬件结合技术(大容量 Cache、物理核、OS 编译器优化、eRDMA 加速、压缩加速),实现内存墙的突破,也降低数据中心税的开销,大大提升了倚天再应用场景的性能表现。

/阿里云 ECS 高级架构师张先国

倚天的性能在一年来,也实现了再次进化,比去年云栖大会时期,性能提升 20%,落地上千家企业客户。
以上是针对去年的提升。相对主流 x86 性能收益也非常明显。大数据(+30%),视频转码(+40%),HPC(+30%),Java App(+20%),数据库(+20%)。
龙蜥社区 Java 语言和虚拟机 SIG 成员、阿里云智能程序语言与编译器技术总监李三红 为大家分享了  《龙蜥解锁倚天底层算力,加速企业智能化创新》

/龙蜥社区 Java 语言和虚拟机 SIG 成员、阿里云智能程序语言与编译器技术总监李三红

在倚天的成就背后,是阿里云强大的基础软件支持能力。从操作系统内核、编译器,到运行时,阿里云基础软件团队都针对倚天芯片特性做了针对性的优化。在应用端,基础软件团队也在系统软件层为倚天 Arm 架构软件适配保驾护航,保障倚天在云上稳定、可靠、高效地运行。同时,依托龙蜥社区,阿里云基础软件团队联合平头哥芯片团队,阿里云 ECS 团队 共同构建基于倚天 Arm 生态上的技术竞争力以及生态构建
后摩尔定律时代,传统算力提升缓慢。 从扩展视角看计算机体系结构,全栈的协同设计与优化是龙蜥解锁倚天底层算力的关键技术之一 。从倚天硬件、内核、编译器、运行时,到应用的垂直整合(Vertical Integration),全栈优化大幅提升软件性能。
本专题也详细介绍了龙蜥操作系统(Anolis OS)、Alibaba Cloud Linux(OpenAnolis企业定制版,面向阿里云业务定制和优化 )、C/C++编译器套件 Alibaba Cloud Compiler(ACC) 编译器,以及 Java 运行时 Dragonwell JDK 在倚天方面做的优化工作。
Alibaba Cloud Linux 全面兼容 CentOS/RHEL 生态,与阿里云基础设施做了深度优化,为实例提供专项的性能和稳定性优化,并提供完善的生态支持,同时用户还可以免费享受阿里云提供的全生命周期服务保障。
Alibaba Cloud Compiler(ACC)编译器,相比GCC,或其他 Clang/LLVM 版本在编译、构建速度上有很大的提升;利用 ACC ThinLTO、AutoFDO 和 Bolt 等技术可以在不同程度上优化程序性能。ACC 在支持不同 CPU 架构(X86、AArch64)基础上,进一步针对倚天 710 芯片进行优化,取得额外性能提升。
Alibaba Dragonwell 是 OpenJDK 的下游发行版本,也 龙蜥社区 Java 语言和虚拟机 SIG下的项目支持 X64/AArch64 平台,被广泛应用于在线电商、金融、物流等领域,百万量级部署规模。Alibaba Dragonwell 依托于丰富的阿里巴巴 Java 应用场景的锤炼,全面拥抱云原生。在倚天 Arm 架构上, Alibaba Dragownell 主要采用面向工作负载的优化方式,使用云上大量真实的 Java 应用情况来进行性能评估和优化,优化的方向包括内存模型、锁/并发等方面。
在倚天技术生态方面,为了解决架构迁移的兼容性问题,发布了 X86 向 Arm 平台迁移的 EasyYitian 工具平台。支持从代码/环境兼容性扫描(迁移前),跨架构编译(迁移中),到生产上线性能监控与调优(迁移后)全软件周期的支持和覆盖。
ECS Booster 是在线的倚天智能优化方案。在创建倚天 ECS 实例时,用户可以直接选择对应场景的性能优化方案,包括 Nginx、MySQL、Redis 等场景,ECS Booster 会自动加载性能优化策略和配置。
除了开箱即用的 ECS Booster 自动化调优方案,阿里云也提供了优化版的云原生镜像,可加速 BigData、Web、Database、Java方面应用的提升,性能收益达到 5-10%。
最后,李三红还发布了倚天常用的工具和技术社区:
CADT: https://bp.aliyun.com/detail/346   (一键测试 Spark 集群性能) 

倚天ECS开发指南:

  https://github.com/aliyun/yitian-ecs-getting-started
倚天社区:  https://developer.aliyun.com/yitian
云计算应用发展至今,已经诞生了各类复杂的应用生态,比如数据库、大数据、多媒体、AI 等等,那么如何让这些应用更好地在倚天上发挥能力,尽可能减少用户的工作量,提升用户云上倚天的部署效率?平头哥解决方案的同学们自有妙招,平头哥数据中心解决方案负责人陈继承为大家带来 《倚天软硬件协同加速应用生态创新》 的主题演讲,为广大云计算引用开发者提供了快速迁移到倚天的道路。

(图/平头哥数据中心解决方案负责人陈继承)
高性能芯片不能必然带来应用高性能。在充分释放、发掘倚天算力潜力的过程中我们遇到了三个方面的挑战,首先是生态迁移,需要让客户在少投入甚至不投入的情况更顺滑的将长在 x86上生态迁移到 Arm 并保障其性能;其次,X86 和 Arm 在内存模型也就是访存序存在差异,一个是强一致性序,一个是弱一致性序,需要提供自动化序检查能力让客户应用正确、高效的迁移到倚天上;最后,倚天芯片在 Arm 架构兼容的基础上考虑到功耗、频率以及内存子系统、缓存一致性、IO 子系统等各种约束,在具体实现上做了很多的折中,需要我们把这些定制化底层软硬件能力以加速库、算子库、应用解决方案等形式更好的透出,能够让应用更方便、高效的调用。
因此,平头哥的工作聚焦在让倚天底层软硬件能力充分透出的核心加速引擎层以及与芯片行为相关的生态迁移工具上,和阿里云弹性计算、基础软件、基础设施、业务应用等团队一起从基础设施层面、操作系统与编译层面、PaaS 应用层面共同构建软硬协同、全栈优化、业务融合的倚天应用生态及其竞争力,并实现由内而外赋能。同时,倚天生态也是开放型的,依托 Arm 开源社区建设倚天生态,积极发展倚天社区,为外部客户和开发者提供全面支持。
比如对于应用生态迁移,Java 和 Python 等解释型语言在互联网业务应用中广泛使用,由于解释型语言运行时加载的特性,需要提前检查相关应用依赖(例如依赖库、三方包等),因此设计了能够满足 Java/Python 应用跨架构平滑、高效迁移的 YODA 倚天迁移工具。
YODA 倚天迁移工具实现了包括源码、依赖包、二进制、依赖文件等的准确扫描,提供依赖检查、非依赖包自动过滤、版本检查等功能;可以对扫描结果进行分类,包括兼容、不兼容、版本升级、编译升级、待验证 5 大场景,并且提供覆盖应用全场景的 SOP 兼容升级方法和建议;对于不兼容文件的兼容性改造,工具提供了兼容版本推荐功能,目前该功能已覆盖 20+ 主流开源仓,能够实现超过 30K 兼容版本的推荐,能够有效满足大数据等主流场景的兼容性要求。
目前,YODA 倚天迁移工具已帮助内外部客户超 10+ 应用完成迁移适配。同时工具已集成到阿里云 EasyYitian 工具平台,助力更多外部客户应用迁移上倚天。
对于倚天应用解决方案,大数据场景技术栈复杂,涉及业务软件、JDK、OS 等较多领域,基于经验调优和人力调优耗时耗力,并且调出的性能也是基于经验获得,不一定最优。针对 x86 迁移到 Arm 平台,为减轻开发者的工作量,开发了倚天大数据自动化调优工具,可以基于AI算法,在众多的参数多维空间中寻找最优参数,提高调优效率并给出最优性能。目前已经支持了Spark、Hive, 未来会持续支持更多场景。
同时,对于大数据业务,算力已逐渐成为显著的瓶颈,需要通过 Spark 关键算子native 化提高 Spark 执行效率,通过集成我们基于倚天优化的 x-simd、 ptg-optimize、zstd 等加速库,显著提升了 E2E 性能,E2E 相比原生 Spark 提升 1 倍以上。
倚天在 AI 场景也发挥重要作用,通过创新的量化裁剪算法、ARM SVE int8 技术以及微架构与算法深度结合的优化方法。倚天在语音推理、大语言模型推理、视觉、机器翻译等方面获得了较好的性价比和落地。比如对于大语言模型推理,在首包 prefill 阶段,算力是瓶颈,在后续的单包阶段,带宽是瓶颈,通过 int8 量化技术以及微架构与算法深度结合的优化方法,在首包阶段实现了 8 倍算力提升,在单包阶段实现了 4 倍带宽优化。倚天灵活的算力/带宽配比方式大幅提升了倚天的能力上限。
倚天芯片的 SPEC INT 性能强劲,其物理核,不降频、独享的更大的 L1/L2 cache 及更大的 LLC、高效的图像信号处理拓展指令集,与视频应用视频像素 INT8/INT16 格式、计算密集型依赖平稳算力、分块处理需要大缓存以及向量化模块占比高等特征完全契合,因此带来了极高的视频编解码性能和性价比。倚天视频编解码应用也已成为倚天实例的一个重要优势场景。
倚天视频解决方案提供了 x264/x265 优化解决方案、4K 高清加 10bit/12bit 色深算子加速方案以及用于 360 全景视频和苹果 HEIF Grid 图片格式的 x265 tile 解决方案等,用户可在阿里云 ECS Booster 中勾选获得。
倚天的成功自然也离不开 Arm 强大的软件生态, 来自安谋科技高级软件经理别再平带来议题 《 Arm Ecosystem, Performance, Optimization》 ,为大家详解 Arm 生态、性能和优化的诸多细节,让听众不仅领略了当下 Arm 生态的勃勃生机,同时也展望了未来发展的无限可能。

(图/安谋科技高级软件经理别再平)

Neoverse 是 Arm 在 2018 年发布的平台,包含三大系列产品,专门针对基础设施领域设计 CPU 核心和互联总线, 聚焦基础设施市场。主要有三大系列 CPU 核心:
在半导体领域 ,PPA(Performance, Power, and Area)是一种综合考虑性能、功耗和面积的概念,它是衡量半导体芯片设计质量的重要指标。
具体到 Neoverse 核心 中,V 系列 CPU 核心追求极致的性能,性能是第一位,但功耗更高,核心面积更大,应用于 HPC,数据中心云计算和人工智能领域。N 系列 CPU 核心追求的非常高的扩展性,性能,功耗和面积三个指标平衡,应用于数据中心云计算到边缘计算以及 5G 无线接入领域。E 系列 CPU 核心追求极致的能效,功耗、面积要优先于性能,应用于网络和边缘计算领域。
最近两年 Arm 在基础设施市场取得了非常好的进展。可以从这几个方面看一下: 
1、服务器方面:因为 Neoverse 系列 CPU 核心高性能低功耗的特点,Arm 架构的服务器芯片已经大批量部署于全球数据中心云计算。
2、智能网卡方面:AWS、Intel、Marvell、NVIDIA 等主要的 DPU 供应商都选择了 Arm CPU 来构建 DPU SoC。
3、芯片厂商方面: 已经有超过 50 家的芯片合作伙伴使用arm来构建数据中心芯片。
4、OEM、ODM: 主流的 OEM,浪潮、惠普、超微等发布了 Arm 架构服务器整机。 
5、Arm SystemReady 方面: 有 100 多个系统通过了认证,意味着这些系统不需要任何补丁,就可以运行主流的操作系统, 达到开箱即用的体验。
接下来看一下 Arm 在软件生态方面的投入策略:
如左侧所示, 主要是首日支持、开发者工具和开源软件投入三方面。
1、首先是 Day one bringup,Arm 确保在 silicon 硬件系统面世之前,相应的架构特性和微架构特性就在软件中都已经就绪。同时Arm还会针对自己的 CPU、总线等 IP,研发相应的 fast model 和 FVP 系统,以及对应的参考设计,芯片伙伴可以在这个基础上进行硅前的软件开发。
2、其次是开发者工具,Arm 为开发者提供一系列完善的开发工具,主要是包括编译器工具链和性能分析工具。编译器 GCC LLVM,随着编译器版本的更新,新的架构特性,例如对原子操作 向量化元算 SVE 的支持被加进来,保证编译器能够生成最优化的目标代码。而且,更新的编译器版本,会带来更新的 CPU 微架构原生支持,这样开发者使用编译器在当前系统构建代码的时候,就可以用比较简单的编译选项,获得最优化的结果输出。性能分析工具方面,Arm 对 Linux perf、telemetry solution 等进行开发, 支持 top down 等方法论。
3、最后是开源软件的投入,Arm 投入了大量的研发资源来支持开源社区,从整个软件栈来看,从 Java Rust Golang Python PHP 主流的程序语言,到各种常见的计算加速库,例如压缩、加解密、视频编解码等,以及最上层的各种工作负载,例如数据库 MySQL Redis、网页服务器 Nginx、大数据 Spark Flink、存储 Ceph,Arm 都有持续的投入和支持。
使用 N2 的倚天云实例, 相对于 x86 Icelake 的云实例, 在多个上层应用负载中,都有着显著的性能优势。
这一页是我们在基于 Neoverse N2 的倚天实 g8y 实例和同等规格 x86 实例的性能对比测试,我们可以看到,不管是流行的缓存数据库 Redis、memcached,大数据 Spark 应用、以及网页服务器 Nginx Apache Httpd 等, 倚天云实例都有至少 20% 的性能优势。尤其是值得指出在机器学习推理方面, 使用 MLPerf 测试,倚天的性能是 x86 的两倍。
同时值得指出的是,阿里云上的倚天云实例售价相当于 x86 架构,具有至少 20% 的价格优势。再加上刚才提到的相应的性能优势,这将为最终用户在云上部署中带来极高的 TCO 优势。
在编译器参数选择上,Arm 架构和 x86 稍有不同,为了获得最好的性能, 我们有这些建议:
在可能的情况下,使用最新版的编译器, 正如我前面说过的,在编译器这块,Arm 会不断的开发和适配更新的特性,包括性能优化,所以建议升级编译器。例如 GCC11 和 LLVM11 版本中加入了对 N2 核的原生支持。
然后如果是在Arm系统上进行原生编译的时候,建议总是使用 mcpu=native 选项,这样配合较新的编译器,可以自动识别到当前硬件的型号,针对性的生成优化的机器代码。
其次如果不是原生编译,不能使用 mcpu=native 的情况下, 建议指定具体的 mcpu 参数,例如 mcpu=Neoverse-n2 来指定要目标代码的cpu 核心。
再其次,如果是用的编译器还不支持使用 mcpu 传入目标系统的 cpu 核心,可以使用 march 指定需要的架构特性,例如 armv8.5+sve 的形式。
最后要说明的,在 Arm 架构上要彻底避免使用 mtune 参数,这是从 x86 到 Arm 迁移中要注意的一个点,当我们迁移的时候,建议删除 mtune,使用 mcpu 参数来替换 march 参数。
在 arm community blog 上有一篇文章, 详细介绍了 march mtune mcpu 等不同的编译选项在不同架构下的区别以及相应的影响。
More Arm Developer Resources

Learning Paths

https://learn.arm.com/learning-paths/servers-and-cloud-computing/

Arm Developer

https://developer.arm.com/documentation/

Community Infra Solutions

https://community.arm.com/arm-community-blogs/b/infrastructure-solutions-blog

WorksOnArm

https://www.arm.com/markets/computing-infrastructure/works-on-arm

极术社区 Arm 服务器专栏:

https://aijishu.com/blog/armsoft
最后,别再平给大家介绍了 5 个 Arm 开发相关的资源:
1、 首先是 learning path 项目。该项目旨在设计一系列课程,帮助开发者快速熟悉在 Arm 系统上的软件应用、安装部署和性能优化工作。这个项目是开源的,任何使用者都可以为其做出贡献,分享自己的实践经验。 
2、 Arm 开发者社区,可以获取到 Arm 各种 CPU 核心、总线的技术文档和架构规范。
3、 Arm community blog,汇集了很多 Arm 软件生态和性能优化的文章。
4、 Worksonarm 计划,Arm 通过 Works on Arm 计划,为开发者提供免费的 Arm 架构开发平台,赋能开发者创新。感兴趣的开发者可以通过 workonarm 计划,提交申请来免费构建自己基于 Arm 架构的系统。
5、 最后是极术社区 Arm 服务器专栏, 我们会不定期的在上面分享一些我们的经验总结, 欢迎大家订阅交流。

—— 完 ——

加入龙蜥社群

加入微信群:添加社区助理-龙蜥社区小龙(微信:openanolis_assis),备注【龙蜥】与你同在;加入钉钉群:扫描下方钉钉群二维码。


关于龙蜥

龙蜥社区是立足云计算打造面向国际的 Linux  服务器操作系统开源根社区及创新平台。龙蜥操作系统(Anolis OS)是龙蜥社区推出的 Linux 发行版,拥有三大核心能力:提效降本、更加稳定、更加安全。
目前, Anolis OS 23  已发布,全面支持智能计算,兼容主流 AI 框架,支持一键安装 nvidia GPU 驱动、CUDA 库等,完善适配 Intel、兆芯、鲲鹏、龙芯等芯片,并提供全栈国密支持。

加入我们,一起打造面向云时代的操作系统!

往期精彩推荐
1.人人都可以参与开源!龙蜥社区最不容错过的开发者活动来了
2.龙蜥技术认证培训(统信软件专场)圆满召开!1200+人完成认证

3.龙蜥社区联合浪潮信息发布《eBPF技术实践白皮书》(附下载链接)

4.理事长走进统信软件,深度探讨社区发展规划 | 理事长走进系列

5.“CCF 科技成果奖”获奖名单公布,龙蜥荣获技术发明一等奖


本文分享自微信公众号 - OpenAnolis龙蜥(OpenAnolis)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部