使用shell脚本批处理控制大数据环境服务启动停止
使用shell脚本批处理控制大数据环境服务启动停止
我是王者鑫 发表于7个月前
使用shell脚本批处理控制大数据环境服务启动停止
  • 发表于 7个月前
  • 阅读 4
  • 收藏 0
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   

三台集群机器:

master   192.168.168.200

slave1     192.168.168.201

slave2     192.168.168.202

1、start-master.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动 Hadoop==================="
  5. echo "==============================================="
  6. start-all.sh;
  7.  
  8. echo "==============================================="
  9. echo "================启动 Spark===================="
  10. echo "==============================================="
  11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh;
  12.  
  13. echo "==============================================="
  14. echo "================启动master Zookeeper==========="
  15. echo "==============================================="
  16. zkServer.sh start;
  17. echo "==============================================="
  18. echo "================启动slave1 Zookeeper==========="
  19. echo "==============================================="
  20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
  21. echo "==============================================="
  22. echo "================启动slave2 Zookeeper==========="
  23. echo "==============================================="
  24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
  25.  
  26. echo "==============================================="
  27. echo "================启动master Kafka==============="
  28. echo "==============================================="
  29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
  30. bin/kafka-server-start.sh config/server.properties;
  31.  
  32. echo "==============================================="
  33. echo "============Master启动服务成功!!!==========="
  34. echo "==============================================="

由于kafka-server-start.sh启动的是一个后台服务,所以只能分开启动kafka后台服务。

2、start-slave1.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动slave1 Kafka==============="
  5. echo "==============================================="
  6. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
  7.  
  8. echo "==============================================="
  9. echo "============slave1启动服务成功!!!==========="
  10. echo "==============================================="

3、start-slave2.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动slave2 Kafka==============="
  5. echo "==============================================="
  6. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
  7.  
  8. echo "==============================================="
  9. echo "============slave2启动服务成功!!!==========="
  10. echo "==============================================="

4、stop.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================停止 Hadoop==================="
  5. echo "==============================================="
  6. stop-all.sh;
  7.  
  8. echo "==============================================="
  9. echo "================停止 Spark===================="
  10. echo "==============================================="
  11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh;
  12.  
  13. echo "==============================================="
  14. echo "================停止master Zookeeper==========="
  15. echo "==============================================="
  16. zkServer.sh stop;
  17. echo "==============================================="
  18. echo "================停止slave1 Zookeeper==========="
  19. echo "==============================================="
  20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
  21. echo "==============================================="
  22. echo "================停止slave2 Zookeeper==========="
  23. echo "==============================================="
  24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
  25.  
  26. echo "==============================================="
  27. echo "================停止master Kafka==============="
  28. echo "==============================================="
  29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
  30. bin/kafka-server-stop.sh config/server.properties;
  31. echo "==============================================="
  32. echo "================停止slave1 Kafka==============="
  33. echo "==============================================="
  34. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
  35. echo "==============================================="
  36. echo "================停止slave2 Kafka==============="
  37. echo "==============================================="
  38. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
  39.  
  40. echo "==============================================="
  41. echo "================停止服务成功!!!============="
  42. echo "===============================================" ​

5、producer.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动test主题生产者=============="
  5. echo "==============================================="
  6. kafka-console-producer.sh --broker-list 192.168.168.200:9092 --sync --topic test

6、consumer.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动test主题消费者=============="
  5. echo "==============================================="
  6. kafka-console-consumer.sh --zookeeper 192.168.168.200:2181 --topic test

7、启动运行

打开第一个终端执行sh start-master.sh

打开第二个终端,执行sh start-slave1.sh

打开第三个终端,执行sh start-slave2.sh

其他的同上。

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 0
博文 51
码字总数 50778
×
我是王者鑫
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: