spark命令

原创
2016/02/24 09:47
阅读数 302

spark目录下有sbin和bin,sbin主要针对启动和停止,bin是spark运行相关

出现过standalone集群跑久了,stop命令失效的情况,这个时候需要kill -9直接强制杀死所有worker和master进程。

一、启动,按顺序执行命令。如果需要关闭集群,则按反顺序执行即可。

1、启动spark集群

spark HA模式

执行sbin/start-slave.sh出现过无法启动slaves的情况,提示 start-slave.sh <spark-master-URL>,所以尽量用第一种方法。

1).在master1上启动master和所有slaves,执行:sbin/start-all.sh

    在master2上启动master,执行:sbin/start-master.sh

2).在master1上启动master,执行:sbin/start-master.sh

    在master2上启动master,执行:sbin/start-master.sh

    在所有slave节点上启动slave,执行:sbin/start-slave.sh

非spark HA模式

1).在master上启动master和所有的slaves,执行:sbin/start-all.sh

2).在master上启动master,执行:sbin/start-master.sh

    在master上启动所有的slaves,执行:sbin/start-slaves.sh

2、启动spark history server服务,经测试,history server可以在随便哪个spark节点上启用

在master上启动history server,执行:sbin/start-history-server.sh

二、bin/spark-shell使用,具体请使用bin/spark-shell --help查看使用帮助

bin/spark-shell --master spark://hadoop2:7077,hadoop3:7077 --deploy-model client

启动spark shell,--master:链接spark集群的master地址,--deploy-model:驱动程序的运行模式


 

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部