刚哥谈架构(十三)大数据软件开源版图

原创
2021/06/22 10:59
阅读数 3.7W

开源一词最初是指开源软件(OSS)。开源软件是源代码可以任意获取的计算机软件,任何人都能查看、修改和分发他们认为合适的代码。

开源软件依托同行评审和社区生产,皆以分散、协作的方式开发。开源软件由社区开发,而非单个作者或公司,因此通常成本更低、更灵活,寿命比专有软件更长。

开源已成为一种超越软件生产界限的运动和工作方式。开源运动旨在利用开源软件的价值和分散的生产模型,为其社区和行业的问题寻找新的解决方法。

Redhat对于开源的定义

刚哥在软件行业摸爬滚打了二十多年了,经历了开源软件的发展,感触颇多。最早,刚开始做软件开发的时候,开源软件非常有限,很多东西都需要自己去打造,当然,程序员这个群体对于造轮子,那是情有独钟的,技术上无可厚非,但是从效率上就差了不少了。今天的软件业和软件从业人员其实是非常幸福的,开源社区提供的诸多选项极大的提高了软件开发的生产率,而云计算也使得软件的大规模部署和运行变的简单。软件从业者可以花出更多的时间来关注自己的业务,这是实实在在的进步。

刚哥谈架构(十三)大数据软件开源版图

 

我本人是开源软件的忠实拥护者,很早就开始在开源中国写博客,关注各种开源软件,自己贡献过一些小品级别的开源软件,每每发现了新的开源软件,也会发送给开源中国,总共投递了超过40个开源软件。我是看着开源中国从一个小网站做到今天的,希望红薯带着开源中国越办越好。

我有幸在大数据这个领域先后做了数据可视化,数据的准备和采集,机器学习,以及现在负责一个大数据软件端到端的架构,对于大数据软件领域有不少的了解,今天就来和大家分享一下我眼中,大数据软件开源领域的版图。

刚哥谈架构(十三)大数据软件开源版图

 

在上图中,我把大数据开源软件的版图分类为:数据摄取(data ingestion),数据流传输(data streaming),数据管道(data pipeline),元数据仓库(metastore),对象/文件存储(object/file storage),数据湖/数据格式(data format/data lake),OLAP数据仓库(OLAP/ data warehouse),即席查询(Ad hoc query),流分析(stream analytics),图数据库(graph database),时序数据库(time serials database),机器学习运维(MLOps),搜索引擎(search engine),元数据管理(metadata management),数据可视化(data visualization)。

大数据领域的开源软件数量繁多,我不可能一一覆盖,同时因为软件的功能有可能用于不同的场景,上面的分类也不一定准确。但是我们可以看到大数据开源软件的基本图景,这里做个简单的总结:

  • 大数据的开源软件是大数据领域的基石,各种大数据产品和解决方案都离不开这些开源软件的支持。flink,spark,kafka,elastic是构建大数据栈的常客。
  • 以为Hadoop为核心的大数据生态曾经是大数据领域的标准,但是我们看到从趋势上来看,新兴的大数据软件中,hadoop所扮演的角色越来越不重要,Hadoop的存储HDFS正在被各种以S3为主的数据湖的解决方案所取代,Mapduce的计算模型被数据仓库/Spark/Flink的计算所取代。
  • 大部分的开源软件背后都是有大型软件厂商,或者独立软件开发商来运营,以开源为营销手段,扩大用户群体和知名度。但是开源厂商正在受到云计算的竞争和威胁,开源厂商迫于生计,开始通过修改软件许可证(Elastic/Mongo)来打击云厂商。
  • 新兴大数据开源软件,也受到了大厂商和风险投资的关注,例如Datadog收购Vector,Databrick收购Redash。
  • 国内的大数据开源产品受到关注,例如Nebula Graph,Milvus,DorisDB,Plato,TiDB(TiBD没有在本文中覆盖)等等

 

刚哥谈架构(十三)大数据软件开源版图

 

开源软件毫无疑问是大数据领域基础中的基础,各种大数据产品和解决方案都离不开这些开源软件的支持。flink,spark,kafka,elastic, zookeeper 是构建大数据栈的常客,你尽可放心大胆地选用。

刚哥谈架构(十三)大数据软件开源版图

 

以Hadoop为核心的大数据生态曾经是大数据领域的标准,当我们说到大数据的时候,不可避免地会涉及Hadoop生态系统。但是我们看到从趋势上来看,新兴的大数据软件中,hadoop所扮演的角色越来越不重要,Hadoop的存储HDFS正在被各种以S3为主的数据湖的解决方案所取代,Mapduce的计算模型被数据仓库/Spark/Flink的计算所取代。

Apache基金会宣布退役的Hadooop项目包含:

  • Apex:基于 HadoopYARN 的统一大数据流和批处理平台
  • Chukwa:基于 Hadoop 分布式文件系统(HDFS)构建的,用于监视大型分布式系统的数据收集系统
  • Crunch,提供了用于编写、测试和运行 MapReduce(包括 HadoopMapReduce)管道的框架
  • Eagle:一种分析解决方案,可在包括 Hadoop 在内的大数据平台上迅速识别安全和性能问题
  • Falcon:针对 Hadoop 的数据处理和管理解决方案,设计用于数据移动、数据管道协调、生命周期管理和数据发现
  • Hama:一种用于大数据分析的框架,运行在 Hadoop 上,并且基于 BulkSynchronousParallel 范式
  • Lens,提供了统一的分析界面,将 Hadoop 与传统数据仓库深度集成在一起
  • Marmotta:链接数据的开放平台
  • Metron:专注于实时大数据安全性
  • PredictionIO:一种用于管理和部署生产就绪的预测服务的机器学习服务器
  • Sentry:一种用于对 ApacheHadoop 中的数据和元数据执行细粒度授权的系统
  • Tajo:Hadoop 上的大数据仓库系统
  • Twill,它使用 HadoopYARN 的分布式功能和类似的编程模型来运行线程

与此同时以Hadoop运营为主的公司Cloudera,也举步维艰。最近有消息称Cloudera想卖身,可是谁会出手呢?IBM在收购红帽子后,会把Cloudera也并入旗下吗?我们拭目以待。与此相对应的,风光无限的Snowflake火热上市,如今的市值突破700亿美元的天文数字。IT圈毫无疑问也是喜新厌旧的。

刚哥谈架构(十三)大数据软件开源版图

 

开源软件要发展,离不开组织的力量,我们看到大数据开源软件背后的三个主要的力量:Apache基金会,大的软件厂商和创业公司。

大数据里面的明星项目大多来自apache基金会,包括我们之前提到的kafka,Spark,Flink等。

Apache软件基金会(Apache Software Foundation,简称为ASF),是专门为支持开源软件项目而办的一个非营利性组织。在它所支持的Apache项目与子项目中,所发行的软件产品都遵循Apache许可证(Apache License)。

Apache这个名字还有流传着一段有意思的故事。因为这个服务器是在NCSA HTTPd服务器的基础之上,通过众人努力,不断地修正、打补丁(Patchy)的产物,被戏称为“A Patchy Server”(一个补丁服务器)。在这裡,因为“A Patchy”与“Apache”是谐音,故最后正式命名为“Apache Server”。

另外一只主要的力量就是大的软件和互联网厂商,例如谷歌是Kubernetes和Tensorflow的拥有者,Databrick拥有Spark。Deltalake等产品。

最后就是创业公司,现在大数据行业创业公司非常多,大多数也是采用的了开源的形式来为自己的软件背书。

这三股力量并不是对立的,它们融合在一起推进开源事业的发展,大多数的厂商愿意把自己的软件贡献给apache,甚至以能入选Apache基金会的顶级项目为荣,而创业公司也会借着开源的力量走向成熟,变大变强。例如谷歌,Databrick,Elastic也都是从创业开始他们的脚步。

刚哥谈架构(十三)大数据软件开源版图

 

开源厂商正在受到云计算的竞争和威胁,开源厂商迫于生计,开始通过修改软件许可证来打击云厂商。这里归根结底都是商业利益,对于开源厂商,它们之所以愿意贡献他们的代码,并不是像“雷锋”一样助人为乐,不图回报的。任何的公司都是以盈利为目标的。以AWS为首的云厂商,自己本身有很强大的技术实力,把开源的东西拿过来,在云上打个服务就开始赚钱了,对于这样的“白嫖”,开源厂商自然是很不爽!这样的对抗,短期不会改变。

刚哥谈架构(十三)大数据软件开源版图

 

新兴的大数据软件越来越受到市场尤其是资本的追捧。Databrick收购了redash,Datadog收购vector来完善他们的大数据软件版图。国内的PinCAP/涛思/Kyligence也纷纷获得数目不小的投资。大数据软件越来越被重视。

上面的这些没有包含国内的内容,我们也看一看国内大数据开源的情况:

刚哥谈架构(十三)大数据软件开源版图

 

国产开源大数据软件的现状是:

  • 数据库和数据仓库领域很热闹,聚集了很多玩家,其中TiDB无论从融资还是社区活跃度,都是该领域最受追捧的产品
  • 在数据可视化领域,百度Echart和蚂蚁金服的AntV是该领域的领导者,完全不弱于该领域传统的开源领导者Highcharts
  • 在机器学习领域,华为的Mindsopre和百度的飞浆社区活跃度很高
  • 华为为开源社区贡献了不少产品,包含Apache CarbonData,Apache OpenLooKong,OpenGauss,MindSpore,其它大公司也有自己的明星产品,百度的飞浆和ECharts,蚂蚁金服的AntV,阿里的PolarDB

当然,国内和国外的划分也不一定能分得那么清楚,我们知道Flink背后有阿里巴巴,Apache Pulsar背后也是有一个国内为主的组织在运作。

对比国内和国外大数据开源软件的情况,我做了一些简单的数据分析:

刚哥谈架构(十三)大数据软件开源版图

 

从社区的活跃度来看,国内的大数据开源软件整体的活跃度和认知度都会低一些,在github上有1w以上star的项目有十多个,而国内只有5/6家,但是这几家都值得大家关注。

刚哥谈架构(十三)大数据软件开源版图

 

从语言采用的角度来看,Java/Python/C/C++是主力。未来我想也许会有越来越多的Golang/Rust的项目出现。

 

总结

本文对大数据开源领域的现状做了一个简要的分析,也分析了国内和国外在大数据开源软件版图上的差异。希望开源软件,尤其是国内的大数据开源软件未来有很好的发展。

展开阅读全文
加载中

作者的其它热门文章

打赏
2
62 收藏
分享
打赏
3 评论
62 收藏
2
分享
返回顶部
顶部