Hadoop/Hive/Zookeeper/kafka/Spark启动说明

原创
2017/05/03 13:47
阅读数 50

简要说明:spark1、spark2、spark3 是三台服务器的hostname

1、启动hdfs集群

1) 格式化namenode:在spark1上执行以下命令,hdfs namenode -format
2) 启动hdfs集群:start-dfs.sh
3) 验证启动是否成功:jps、50070端口
spark1:namenode、datanode、secondarynamenode
spark2:datanode
spark3:datanode

2、启动ZooKeeper集群

1) 分别在三台机器上执行:zkServer.sh start

2) 检查ZooKeeper状态:zkServer.sh status

3、启动kafka集群

在三台机器上分别执行以下命令:nohup bin/kafka-server-start.sh config/server.properties &

4、启动spark集群

1) 在spark目录下的sbin目录
2) 执行./start-all.sh
3) 使用jsp和8080端口可以检查集群是否启动成功
4) 进入spark-shell查看是否正常
 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部