文档章节

使用shell脚本批处理控制大数据环境服务启动停止

四叶草666
 四叶草666
发布于 2017/07/18 15:12
字数 455
阅读 5
收藏 0

三台集群机器:

master   192.168.168.200

slave1     192.168.168.201

slave2     192.168.168.202

1、start-master.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动 Hadoop==================="
  5. echo "==============================================="
  6. start-all.sh;
  7.  
  8. echo "==============================================="
  9. echo "================启动 Spark===================="
  10. echo "==============================================="
  11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh;
  12.  
  13. echo "==============================================="
  14. echo "================启动master Zookeeper==========="
  15. echo "==============================================="
  16. zkServer.sh start;
  17. echo "==============================================="
  18. echo "================启动slave1 Zookeeper==========="
  19. echo "==============================================="
  20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
  21. echo "==============================================="
  22. echo "================启动slave2 Zookeeper==========="
  23. echo "==============================================="
  24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
  25.  
  26. echo "==============================================="
  27. echo "================启动master Kafka==============="
  28. echo "==============================================="
  29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
  30. bin/kafka-server-start.sh config/server.properties;
  31.  
  32. echo "==============================================="
  33. echo "============Master启动服务成功!!!==========="
  34. echo "==============================================="

由于kafka-server-start.sh启动的是一个后台服务,所以只能分开启动kafka后台服务。

2、start-slave1.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动slave1 Kafka==============="
  5. echo "==============================================="
  6. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
  7.  
  8. echo "==============================================="
  9. echo "============slave1启动服务成功!!!==========="
  10. echo "==============================================="

3、start-slave2.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动slave2 Kafka==============="
  5. echo "==============================================="
  6. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
  7.  
  8. echo "==============================================="
  9. echo "============slave2启动服务成功!!!==========="
  10. echo "==============================================="

4、stop.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================停止 Hadoop==================="
  5. echo "==============================================="
  6. stop-all.sh;
  7.  
  8. echo "==============================================="
  9. echo "================停止 Spark===================="
  10. echo "==============================================="
  11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh;
  12.  
  13. echo "==============================================="
  14. echo "================停止master Zookeeper==========="
  15. echo "==============================================="
  16. zkServer.sh stop;
  17. echo "==============================================="
  18. echo "================停止slave1 Zookeeper==========="
  19. echo "==============================================="
  20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
  21. echo "==============================================="
  22. echo "================停止slave2 Zookeeper==========="
  23. echo "==============================================="
  24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
  25.  
  26. echo "==============================================="
  27. echo "================停止master Kafka==============="
  28. echo "==============================================="
  29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
  30. bin/kafka-server-stop.sh config/server.properties;
  31. echo "==============================================="
  32. echo "================停止slave1 Kafka==============="
  33. echo "==============================================="
  34. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
  35. echo "==============================================="
  36. echo "================停止slave2 Kafka==============="
  37. echo "==============================================="
  38. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
  39.  
  40. echo "==============================================="
  41. echo "================停止服务成功!!!============="
  42. echo "===============================================" ​

5、producer.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动test主题生产者=============="
  5. echo "==============================================="
  6. kafka-console-producer.sh --broker-list 192.168.168.200:9092 --sync --topic test

6、consumer.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动test主题消费者=============="
  5. echo "==============================================="
  6. kafka-console-consumer.sh --zookeeper 192.168.168.200:2181 --topic test

7、启动运行

打开第一个终端执行sh start-master.sh

打开第二个终端,执行sh start-slave1.sh

打开第三个终端,执行sh start-slave2.sh

其他的同上。

© 著作权归作者所有

共有 人打赏支持
四叶草666
粉丝 0
博文 51
码字总数 50778
作品 0
深圳
程序员
哪里学Linux开发?作业怎么控制Jobs?

使用Ctrl+Z组合键停止shell运行中的作业。停止作业后,Linux系统会让用户终止或重启它。可以使用kill命令终止进程。重启停止的进程需要向它发送SIGCONT信号。 重启、停止、终止和恢复作业的操...

长沙千锋
05/03
0
0
开发人员学Linux(3):CentOS7中安装JDK8和Tomcat8

本系列不是为Linux运维人员准备的,而是主要为开发人员准备的,包括但不限于: 希望了解Linux的开发人员; 需要在Linux上部署一些组件的开发人员,如Memcached/Nginx/Redis等; 需要使用一些...

周金桥
2017/11/02
0
0
linux crontab配置

cron 是一个可以用来根据时间、日期、月份、星期的组合来调度对重复任务的执行的守护进程。 cron 假定系统持续运行。如果当某任务被调度时系统不在运行,该任务就不会被执行。 要使用 cron 服...

疯狂的艺术家
2012/02/24
0
0
centos6启动流程详解

当我们在平常的工作学习的环境中使用linux时,我们只需要按一下开机键,系统就会自动为我们加 载好相关配置,然后为我们打开操作界面,那么在这个过程中究竟都发生了什么,如果系统突然起不来...

腿快抖断了
2017/09/16
0
0
Rose应用服务资源名称不一致

Q: 安装sybase数据库,两台服务器的数据库服务名称不一致,如下图所示: 服务器主机名: server1,server2. 产生的原因是安装数据库的时候,默认识别的是主机名称,这个地方应该统一名称,才...

星海缘
02/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

一个可能的NEO链上安全随机数解决方案

0x00 困境 链上安全随机数生成应该算是一个比较蛋疼的问题,哪怕你的系统再牛逼,合约程序困在小小的虚拟机里,哪怕天大的本事也施展不开。 更悲催的是,交易执行的时候,是在每一个节点都执...

暖冰
今天
1
0
【大福利】极客时间专栏返现二维码大汇总

我已经购买了如下专栏,大家通过我的二维码你可以获得一定额度的返现! 然后,再给大家来个福利,只要你通过我的二维码购买,并且关注了【飞鱼说编程】公众号,可以加我微信或者私聊我,我再...

飞鱼说编程
今天
2
0
Spring5对比Spring3.2源码之容器的基本实现

最近看了《Spring源码深度解析》,该书是基于Spring3.2版本的,其中关于第二章容器的基本实现部分,目前spring5的实现方式已有较大改变。 Spring3.2的实现: public void testSimpleLoad(){...

Ilike_Java
今天
1
0
【王阳明心学语录】-001

1.“破山中贼易,破心中贼难。” 2.“夫万事万物之理不外于吾心。” 3.“心即理也。”“心外无理,心外无物,心外无事。” 4.“人心之得其正者即道心;道心之失其正者即人心。” 5.“无...

卯金刀GG
今天
2
0
OSChina 周三乱弹 —— 我们无法成为野兽

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @ _刚刚好: 霸王洗发水这波很骚 手机党少年们想听歌,请使劲儿戳(这里) hahahahahahh @嘻酱:居然忘了喝水。 让你喝可乐的话, 你准忘不了...

小小编辑
今天
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部