Apache Spark集群模式选择

原创
2017/05/30 13:53
阅读数 92

Standalone

Standalone是最容易搭建的模式,在只运行Spark的情况下,Standalone提供了跟其他两种模式差不多的特性。所以如果在只运行Spark,并且Spark集群节点小于100的情况下,可以选择Standalone模式。

Apache Mesos

如果已经使用Docker容器,或者有些其他项目需要运行在集群上,可选择Apache Mesos模式。

Hadoop YARN

如果项目中已经有使用Hadoop,可使用Hadoop YARN模式。


详细对比参考资料:

which-cluster-type-should-i-choose-for-spark

with-how-many-spark-nodes-should-i-use-mesos-or-yarn

How does YARN compare to Mesos

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部