面向大规模数据智能的阿里云存储创新

原创
2023/12/11 15:36
阅读数 87

近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。

阿里云副总裁、阿里云云存储产品线负责人吴结生在云栖大会的演讲中提到:“从云的角度来看,云的存力、算力,云上提供的数据管理的能力,大数据分析能力和人工智能计算能力,帮助每家企业从数据公司演进到数据驱动的公司。因此云计算是企业实现数智化的阶梯。”

在企业实现数字化和智能化转型的过程中,需要重构企业的存储基础设施。在这个过程中,有三个非常显著的要求:
第一,要有韧性,要稳定安全、更可靠、更高可用,能够保障业务的连续性;
第二,需要持续地应对业务的增长,能更经济、高效地存储更多数据;
第三,需要更高效率和更敏捷的能力,高效地挖掘数据的价值,敏捷地实现数据驱动的业务决策和业务创新。

阿里云存储,第一,不断提高存储产品的高可靠、高可用的能力,并完善安全和合规的能力,帮助客户构建韧性的存储基础设施。第二,持续地进行成本优化和技术升级,帮助客户优化存储费用,经济地存储更多数据,支撑业务的增长和业务的变化。第三,支持高性价比的数据湖和大数据分析、AI/ML 智算和高性能计算,帮助客户敏捷高效地进行数据驱动的业务决策和创新。吴结生表示,云存储是构建企业现代化的存储基础设施的基石,这既是技术发展的趋势,也是企业在进行数字化和智能化转型过程中必然的选择。

构建韧性,保障业务永续

稳定可靠的存储,是保障企业业务平稳发展的基石。从 2008 年底开始,阿里云就致力打造高可靠和高可用的存储系统和云存储产品。在国内,早在 2019 年,阿里云是首家推出同城冗余存储产品的云服务商,发布了对象存储 OSS 的同城冗余的产品。采用容忍故障的设计理念,为用户提供最高达 12 个 9 的数据可靠性和 99.995% 的服务可用性。

基于 OSS 同城冗余产品过去 4 年来保障客户大规模数据可靠性和可用性得出的实践经验,在本次云栖大会上,阿里云发布了更多支持同城冗余能力的存储产品,让同城冗余产品的高可靠和高可用更加普惠地帮助客户构建韧性的基础设施,保障业务的连续性。

表格存储、日志服务、快照和备份都推出了同城冗余产品,产品价格与本地冗余(也即 单 AZ 冗余)的产品价格保持一致。针对 OSS 的本地冗余的存储 Bucket,阿里云提供了一键升级到同城冗余存储 Bucket 的能力。

同时,阿里云还发布了业界第一个真正意义上拥有同城冗余的高性能块存储 Regional ESSD。它基于飞天盘古同城冗余架构,支持多重挂载,容忍可用区级别故障。Regional ESSD 简化高可用的数据库应用和 Mission Critical 应用的构建。

除了同城冗余的存储产品外,阿里云存储产品还提供了近实时的跨地域异步复制能力,帮助客户实现异地多活架构 ,充分保障业务连续性。对象存储 OSS、块存储 EBS、文件存储 NAS、表格存储 Tablestore、快照都提供了跨区域的异步复制能力。

大会现场,小米云服务研发总监、手机部服务端 TMG 主任孔令涛坦言:小米云服务自 2012 年创立以来已累计存储超过 1,000PB 的数据量,在整个过程中小米云服务从未出现任何一例数据问题,也未曾影响用户的正常使用,这一成果,源自阿里云存储提供的稳定可靠的云存储服务。

优化成本,应对业务增长和变化

数据的爆炸式增长,企业产生大量的数据,更加经济地存储更多的数据,是企业面临的挑战。阿里云不断创新和演进存储技术,优化产品成本,释放技术红利,提升产品的弹性能力,帮助企业更好的应对业务增长和变化。

企业的数据有不同的访问频率和使用方式需求,有热数据、温数据和冷数据等分层。对象存储 OSS 提供给用户五种存储类型,用户可根据数据访问类型与业务需求,配置自动的数据分层策略。该能力已为阿里云的存储客户每个月节约接近 2 亿元的存储费用。今年 6 月发布了归档直读的能力,可实时访问归档数据。企业可在不牺牲数据的实时处理和分析能力下,获得更低价格的存储。

此外,阿里云也发布了块存储 EBS 新的入门规格:ESSD Entry,比 ESSD PL0 规格的价格降低30%。据吴结生在大会现场透露,针对有性能持续突发增长需求的客户,今年年底,阿里云 ESSD AutoPL 还将提供 Burst 费用封顶能力,性能可以持续弹性增加到 100 万 IOPS, 当 IOPS 到达一定阈值后,费用封顶。采用新的费用封顶模式,成本将降低高达 85% ,让用户拥有弹性的高性能体验的同时,成本可控。并且,阿里云存储还将发布另一业内首创的块存储弹性临时盘,可解耦计算实例与本地盘,为用户提供经济高效的临时数据存储空间。

除以上两款产品外,阿里云还宣布文件存储 NAS 提供高级型规格,比性能型价格降低 54%,实现业务系统低成本向全闪存储升级。文件存储 NAS 提供更高性价比的归档规格,进一步降低冷数据长期存储成本。文件存储 CPFS 将提供分层存储,并打通与对象存储 OSS 之间的流动。日志服务 SLS 简化了计价模型,从原来的 19 项计费项减少到基于写入数据量的计费。SLS 推出归档存储并推出自动分层的能力,归档存储的价格比热存储降低 86%。

增强敏捷性,提升业务创新效率

数据因 AI 而变得越来越重要。如何高效地挖掘数据价值,让数据驱动业务决策,未来的存储基础设施还需要更好的适配 AI 时代用户对数据存储的新需求,帮助用户实现敏捷重构,提升创新效率。

数据湖则是企业挖掘数据价值的重要工具。阿里云对象存储 OSS 作为数据湖存储,具备稳定、安全、高性能、低成本等特性,提供丰富灵活开放的接口。一方面,用户可随时随地去上传任何类型的数据到 OSS 来构建数据湖。另一方面,通过这些接口,用户的数据既可以通过阿里云提供的各种数据分析服务、人工智能和计算学习平台、可视化和流计算等进行数据价值的挖掘。用户也可以使用这些开放的接口无缝对接自研的数据分析系统和开源的系统。

此次云栖大会上,阿里云也宣布将对象存储 OSS 的读带宽提升了 10 倍,从原来的单客户 10Gbps 提升到 100Gbps,帮助用户构建了更高效的数据湖存储和数据湖的分析能力,同时也提升了文件的分发能力。

值得一提的是,喜马拉雅在云栖大会现场分享了采用 OSS 数据湖架构的最佳实践。通过利用数据湖、湖仓一体技术,可以在短时间内快速抓住用户的兴趣点,通过用户浏览、搜索等行为,进行更智能化的推荐。

据喜马拉雅 CTO 姜杰在云栖大会现场介绍:“借助阿里云的 E-MapReduce 和 OSS-HDFS,我们构建了喜马拉雅云原生大数据平台,并结合喜马拉雅领先的情感语音 AI,推动业务创新,为用户提供更优质的内容消费和更智能的语音交互体验。”

面向大模型智算场景,阿里云文件存储 CPFS 为 AI 负载进行优化,提供了 200 微秒的延迟,20TB/s 的带宽,3 亿 IOPS 的高并发能力,充分满足了 10 万卡智算集群的存储超高性能的需求。

吴结生表示:“阿里云存储技术的创新来自双轮的驱动。一方面来自我们的客户,向客户学习,客户的需求驱动。另一方面,来自技术驱动,来自我们的技术架构。所有的存储产品都基于统一的分布式存储系统飞天盘古作为底座而构建。飞天盘古是阿里云存储创新的发动机。”

历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。

 

就在前不久,阿里云分布式存储技术获中国发明专利金奖。专利所支撑的存储服务已广泛应用于铁路 12306、云上奥运会、电子社保卡、医保平台、数字政府、城市大脑、杭州亚运等重要工程,为全球数百万客户提供服务,累计服务超 9 亿人次。

原文链接

本文为阿里云原创内容,未经允许不得转载。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部