文档章节

使用shell脚本批处理控制大数据环境服务启动停止

四叶草666
 四叶草666
发布于 2017/07/18 15:12
字数 455
阅读 4
收藏 0

三台集群机器:

master   192.168.168.200

slave1     192.168.168.201

slave2     192.168.168.202

1、start-master.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动 Hadoop==================="
  5. echo "==============================================="
  6. start-all.sh;
  7.  
  8. echo "==============================================="
  9. echo "================启动 Spark===================="
  10. echo "==============================================="
  11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh;
  12.  
  13. echo "==============================================="
  14. echo "================启动master Zookeeper==========="
  15. echo "==============================================="
  16. zkServer.sh start;
  17. echo "==============================================="
  18. echo "================启动slave1 Zookeeper==========="
  19. echo "==============================================="
  20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
  21. echo "==============================================="
  22. echo "================启动slave2 Zookeeper==========="
  23. echo "==============================================="
  24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
  25.  
  26. echo "==============================================="
  27. echo "================启动master Kafka==============="
  28. echo "==============================================="
  29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
  30. bin/kafka-server-start.sh config/server.properties;
  31.  
  32. echo "==============================================="
  33. echo "============Master启动服务成功!!!==========="
  34. echo "==============================================="

由于kafka-server-start.sh启动的是一个后台服务,所以只能分开启动kafka后台服务。

2、start-slave1.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动slave1 Kafka==============="
  5. echo "==============================================="
  6. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
  7.  
  8. echo "==============================================="
  9. echo "============slave1启动服务成功!!!==========="
  10. echo "==============================================="

3、start-slave2.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动slave2 Kafka==============="
  5. echo "==============================================="
  6. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
  7.  
  8. echo "==============================================="
  9. echo "============slave2启动服务成功!!!==========="
  10. echo "==============================================="

4、stop.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================停止 Hadoop==================="
  5. echo "==============================================="
  6. stop-all.sh;
  7.  
  8. echo "==============================================="
  9. echo "================停止 Spark===================="
  10. echo "==============================================="
  11. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh;
  12.  
  13. echo "==============================================="
  14. echo "================停止master Zookeeper==========="
  15. echo "==============================================="
  16. zkServer.sh stop;
  17. echo "==============================================="
  18. echo "================停止slave1 Zookeeper==========="
  19. echo "==============================================="
  20. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
  21. echo "==============================================="
  22. echo "================停止slave2 Zookeeper==========="
  23. echo "==============================================="
  24. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
  25.  
  26. echo "==============================================="
  27. echo "================停止master Kafka==============="
  28. echo "==============================================="
  29. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
  30. bin/kafka-server-stop.sh config/server.properties;
  31. echo "==============================================="
  32. echo "================停止slave1 Kafka==============="
  33. echo "==============================================="
  34. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
  35. echo "==============================================="
  36. echo "================停止slave2 Kafka==============="
  37. echo "==============================================="
  38. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
  39.  
  40. echo "==============================================="
  41. echo "================停止服务成功!!!============="
  42. echo "===============================================" ​

5、producer.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动test主题生产者=============="
  5. echo "==============================================="
  6. kafka-console-producer.sh --broker-list 192.168.168.200:9092 --sync --topic test

6、consumer.sh

 
  1. #!bin/sh
  2.  
  3. echo "==============================================="
  4. echo "================启动test主题消费者=============="
  5. echo "==============================================="
  6. kafka-console-consumer.sh --zookeeper 192.168.168.200:2181 --topic test

7、启动运行

打开第一个终端执行sh start-master.sh

打开第二个终端,执行sh start-slave1.sh

打开第三个终端,执行sh start-slave2.sh

其他的同上。

© 著作权归作者所有

共有 人打赏支持
四叶草666
粉丝 0
博文 51
码字总数 50778
作品 0
深圳
程序员
哪里学Linux开发?作业怎么控制Jobs?

使用Ctrl+Z组合键停止shell运行中的作业。停止作业后,Linux系统会让用户终止或重启它。可以使用kill命令终止进程。重启停止的进程需要向它发送SIGCONT信号。 重启、停止、终止和恢复作业的操...

长沙千锋
05/03
0
0
开发人员学Linux(3):CentOS7中安装JDK8和Tomcat8

本系列不是为Linux运维人员准备的,而是主要为开发人员准备的,包括但不限于: 希望了解Linux的开发人员; 需要在Linux上部署一些组件的开发人员,如Memcached/Nginx/Redis等; 需要使用一些...

周金桥
2017/11/02
0
0
centos6启动流程详解

当我们在平常的工作学习的环境中使用linux时,我们只需要按一下开机键,系统就会自动为我们加 载好相关配置,然后为我们打开操作界面,那么在这个过程中究竟都发生了什么,如果系统突然起不来...

腿快抖断了
2017/09/16
0
0
linux crontab配置

cron 是一个可以用来根据时间、日期、月份、星期的组合来调度对重复任务的执行的守护进程。 cron 假定系统持续运行。如果当某任务被调度时系统不在运行,该任务就不会被执行。 要使用 cron 服...

疯狂的艺术家
2012/02/24
0
0
Rose应用服务资源名称不一致

Q: 安装sybase数据库,两台服务器的数据库服务名称不一致,如下图所示: 服务器主机名: server1,server2. 产生的原因是安装数据库的时候,默认识别的是主机名称,这个地方应该统一名称,才...

星海缘
02/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

iOS开发用到的图片尺寸汇总

启动图 型号 竖屏 横屏 iPhone SE 640px × 1136px 1136px × 640px iPhone 6s 750px × 1334px 1334px × 750px iPhone 6s Plus 1242px × 2208px 2208px × 1242px iPhone 7 750px × 1334......

业界小白
24分钟前
0
0
浅谈redis

redis是一个开源,内存式的健值存储数据库,也被称为健值存储的字典服务器。健值类型有字符串,hash(哈希类型),set(集合),list(列表) 和有序集合 特征细节: 内存式:redis将健值存储在主...

拐美人
32分钟前
0
0
无限扩容,按需使用!ZStack推出基于阿里云NAS的文件存储服务

日前,ZStack发布2.6.0版本,正式宣布推出基于阿里云NAS的文件存储服务。得益于业界领先的阿里云分布式存储架构,融合NAS后的ZStack 2.6.0拥有高性能、高可靠、容量无限扩展、一键操作、按需...

ZStack社区版
34分钟前
1
0
崛起于Springboot2.X之Mongodb多数据源处理(35)

多数据源:4个mongodb库! 目录结构图: 1、添加pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId>......

木九天
40分钟前
0
0
如何获取显示器的EDID信息

Q1: 为什么要写这篇文章? A1:在最近的工作中遇到了不少问题,其中很多都是和EDID相关的。可以说,作为一家以“显示”为生的企业,我们时时刻刻在与EDID打交道。EDID这东西很简单,但是如果...

DB_Terrill
40分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部