2022 re:Invent,让数据处理更高效

原创
2022/12/26 13:48
阅读数 94

2022 re:Invent全球大会如约而至,正如我们期望的那样,亚马逊云科技带来了全新的技术、服务和洞察。在这其中,端到端的数据处理战略、云原生及自研芯片均得到了更新,也为亚马逊云科技勾勒出了一幅更丰富的云版图。

 

“仅凭肉眼我们无法探索星空,于是人类不断创新探索太空的方法,发射了火箭、卫星和空间站。今天我们面临着像星空一样广袤的数据挑战,这是应用程序、流程和业务决策的中心,几乎是每个组织数字化转型的基石,但处理数据并不容易,亚马逊云科技认为需要构建云原生的数据战略。”亚马逊云科技大中华区产品部总经理陈晓建这样介绍道。

瞬间完成数据高效处理

数据是整个应用程序业务逻辑的核心,也是每个组织数字化转型的基石,但处理数据非常棘手,这也是亚马逊云科技一直致力于建设一个云原生的数据战略的原因。亚马逊云科技更希望为用户提供工具,助其在整个数据全生命周期,每个环节都能把数据利益最大化。通过提供完整全面的数据解决方案,可以帮助用户更安全、更高效的去挖掘数据价值。

如何去构建一个云原生的数据战略?亚马逊云科技认为有三个关键因素。第一,用户需要去建立一个面向未来的数据底层基础设施。第二,需要实现一个跨组织的数据一体化融合。而数据不再是一个个烟囱式的孤岛,而是一个完整打通的数据库。第三,希望能够通过教育和工具,来实现数据的普惠化,来降低数据使用的门槛,让更多的人可以从浩瀚的数据中获益。

可以看到,目前在亚马逊云科技上,用户可以通过Amazon EMR、Amazon Glue、Amazon SageMaker、Amazon Redshift、Amazon Athena来方便地使用Spark引擎。通过内置的优化,比用户运行原生的Apache Spark性能提升三倍。也正是由于这些新功能的发布和补充,亚马逊云科技也会成为云上运行Spark最佳的场所。

亚马逊云科技推出的Amazon Athena for Apache Spark,能够让用户可以像使用Amazon S3一样,方便地通过Amazon Athena来使用Spark。仅需一秒钟,就可以在Apache Spark运行一个交互式的数据分析服务,用户无需准备任何基础架构,同样,云服务的一大特点是按需付费。

此外,亚马逊云科技拥有完整的关系型数据库和专用数据库,为用户分析负载提供最全面的服务,包括使用Amazon EMR的大数据分析、使用Amazon OpenSearch的交互式的日志分析等等。同样提供了大量人工智能的工具支持深度学习框架,并可更轻松建立AI/ML的Amazon SageMaker服务,包括Amazon Transcribe和Amazon Polly。

Nitro:为复杂系统做减法

今年,我们听到最多的就是面向未来的云原生数据基础设施,从亚马逊云科技的角度来看,它应该具备四个方面的能力。

第一,具备适用于所有适合工作负载和任何数据类型的合适的工具,及让用户能够适应不断变化的需求和机会。

第二,能够持续优化,跟得上用户业务发展所带来更多的数据和业务规模,并保持高性能。

第三,面对用户日益复杂的业务逻辑提供尽可能多的工具,帮助用户在整个数据使用过程之中降低门槛、复杂性,提升使用效率。

第四,应该具备最高级别的可靠性,因为用户的数据对业务而言至关重要。

基于此,亚马逊云科技推出了Nitro系统,它采用了专业定制化设计,有着非常高效的虚拟化引擎,并且可以做到性能损耗小于1%,传统芯片则会高达30%。Nitro的网络和存储采用了完全隔离设计,不会出现相互影响问题,并进一步实现了硬件级别的安全机制。

正如前文所述,云原生采用了软件层面的架构优化,其基本概念是原子化、内容封装、接口标准化,Nitro最大的创新点就是把整个技术演进和架构进行了解耦,能够像搭积木一样将一个复杂的系统变成结构化,以此降低整个系统本身的复杂性。

在实际应用过程中,Nitro卸载了网络和存储的这些工作负载,并完成了所有的虚拟化功能,这样使得Amazon EC2实例的工作量大幅减少,用户购买的CPU资源不会再被系统所占用,提升利用率、性能的同时也进一步降低了成本。这也是2017年以后整个Amazon EC2发行的实例增长加快的重要原因。

经历了四代发展,现如今的Nitro已经在性能方面取得了巨大进步。举例而言,第一代Nitro的网络性能为万兆级别(10Gbps),到了第四代已经可以做到100GB(100Gbps)了,实现10倍性能提升。报文转换能力,也从第一代Nitro每秒转发120万个报文,到第四代每秒转发1500万个报文。

最新的Nitro V5晶体管数量是上一代Nitro的两倍,整个数据包的转发能力提升了60%,延迟减少了30%,每瓦特的性能提升高达40%。

Graviton已被用户广泛接受

当前,ARM已经有了非常丰富的生态,很多企业级用户选择用ARM的原因之一就是Graviton。Graviton有着比x86更好的性价比,并且移植的成本也很低。

对用户而言,无需再去关注Amazon RDS、Amazon Athena底层运行的是x86还是Graviton,通过工具可以非常简单地把自己Amazon RDS服务从x86切换到Graviton,并且自己的程序不用做任何的改动。

有非常多的用户只花一两周甚至几天时间,就可以把它自身的业务从x86迁移到Graviton,将性价比提升40%。

亚马逊云科技大中华区计算与存储产品总监周舸表示,Amazon Graviton是一套通用芯片,适用范围也非常广,中国的两大区域已经有大量用户在使用Amazon Graviton。除传统应用之外,国内有很多用户已经将Amazon Graviton应用到复杂、传统的高性能计算领域,包括天气预测、气象预测、药物研发、基因测序等领域。

相信,随着越来越多的机器导入,Amazon Graviton在高性能计算领域的应用发展速度还会更快。例如,Graviton通用型实例M6g广泛用于开源软件构建的应用程序;计算优化型实例c6g广泛适用于批处理工作负载、媒体转码、高性能网络服务器、高性能计算、科学建模、专用游戏服务器和广告服务器引擎、机器学习推理等;内存优化型实例R6g适用于开源数据库、内存缓存和实时大数据分析等应用场景。

用户除了直接使用这些实例来支持其应用程序和业务功能模块外,也可以通过使用支持Graviton实例的云服务来获得更高的能效和性价比。

2022 re:Invent全球大会带来了最前沿的趋势、技术和实践,各种各样得心应手的云端工具正在帮助企业改变着未来。化繁为简是此次活动的热点之一,面对纷繁复杂的业务与数据,相信“做好减法”将会是未来云计算发展的重要方向。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部