Facebook、Uber、Twitter和阿里巴巴成立了Presto基金会,以大规模处理分布式数据处理

原创
2019/09/27 06:48
阅读数 79

作者:Craig Ross


托管在Linux基金会下,使用中立的治理模型扩展社区



旧金山,CA,2019年9月23日 - Linux基金会,一个通过开源实现大规模创新的非盈利组织,今天宣布,Presto,一个被广泛采用的交互式数据查询引擎,将在Linux基金会下运行。新成立的Presto基金会将拥有一个开放和中立的治理模式,使Presto能够扩展其社区并使其多样化。创始成员包括Facebook、阿里巴巴、Twitter和Uber,他们将利用该基金会,让贡献者推动项目的未来方向,帮助Presto成为大规模分布式数据处理中速度最快、最可靠的SQL引擎。


Presto是Facebook于2012年开发的一个高性能分布式SQL查询引擎,用于大规模数据分析。Presto的架构允许用户查询各种数据源,如Hadoop、S3、Alluxio、MySQL、PostgreSQL、Kafka、MongoDB,并以规模和速度移动。它解决了必须在使用昂贵的商业解决方案的快速分析或使用需要过多硬件的缓慢但“免费”解决方案之间做出选择的问题。


“Presto是为在大量机器上处理高性能的艾字节级数据而设计的。它的灵活设计允许处理来自各种数据源的数据。从第一天开始,Presto的设计就考虑到了效率、可伸缩性和可靠性,多年来,在Facebook上采用额外的用例,例如批处理和其他特定于应用程序的交互用例,已经得到了改进。”Facebook Presto的工程经理Nezih Yigitbasi说。


“仅在Facebook,就有超过1000名员工使用Presto,每天运行数百万次查询和处理pb级的数据。创建Presto之后,我们将其开源,看看其他公司是否也有同样的问题,并希望进行合作。事实证明,许多其他公司也对这个项目感兴趣,因此在Linux基金会的帮助下,我们相信这个项目可以让其他人参与进来,并为所有人的利益发展社区。“Facebook开源主管Kathy Kam说。


Linux基金会战略项目副总裁Michael Dolan说:“Linux基金会很高兴能与Presto社区合作,共同解决日益严重的互联网规模的大规模分布式数据处理问题。


Presto基金会将在社区治理模式下运作,每个创始成员都有代表。随着这一演变,Facebook将与更广泛的用户和贡献者生态系统合作。


Presto是一个分布式系统,设计用于在大型集群机器上运行。它可以查询存储在哪里的数据,而不需要将数据移动到单独的系统。它的内存和分布式查询处理导致查询延迟几秒到几分钟。


“Uber的数据平台架构使用Presto从聚合数据中提取关键洞见,这有助于我们为客户打造更好的产品,”Uber开源部门主管Brian Hsieh表示:“Uber很荣幸能与Linux基金会以及科技界的主要贡献者合作,让Presto基金会焕发生机。我们的目标是帮助创建一个开放和协作的社区,Presto开发者可以在其中茁壮成长。


“阿里巴巴集团很高兴参与这个令人兴奋的Linux基金会项目,我们拥有丰富的业务场景和优秀的开发团队。”阿里巴巴OLAP产品高级总监Liang Lin表示:“我们相信,这种合作最终将惠及整个社区、阿里巴巴和我们的客户。


更多信息请访问:http://prestodb.github.io/


点击文末<<阅读原文>>进入网页了解更多。




Linux基金会是非营利性组织,是技术生态系统的重要组成部分。 

Linux基金会通过提供财务和智力资源、基础设施、服务、活动以及培训来支持创建永续开源生态系统。在共享技术的创建中,Linux基金会及其项目通过共同努力形成了非凡成功的投资。请长按以下二维码进行关注。

本文分享自微信公众号 - LFAPAC(gh_8442c14fe49e)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部