文档章节

Storm集群的安装配置

Zero零_度
 Zero零_度
发布于 2017/02/16 18:21
字数 1049
阅读 22
收藏 1

Storm集群的安装分为以下几步:

  1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装

  2、释放压缩包

  3、修改storm.yaml添加集群配置信息

  4、使用storm脚本启动相应服务并查看服务状态

  5、通过web查看storm集群的状态

 

  安装Storm之前首先保证之前安装的Zookeeper服务正常运行,包括配置hosts映射,主机名修改,防火墙都已经设置完好

  Storm是由java编写,因此必须依赖JDK运行,系统首先应正确安装JDK

  部分需要依赖Python,红帽系列Linux默认Python版本是2.6.6,可以满足要求;Linux可以安装多个版本Python共存,生产过程中建议Python版本为2.7.x

  这里测试使用的三台虚拟机主机名分别是:hadoopha,hadoop1,hadoop2

  首先去Apache Storm官网下载安装包,网址是:http://storm.apache.org/,进入后点击上方DOWNLOAD按钮,进入下载列表

  

  这里下载的是storm 0.9.5的版本,下载之后上传到服务器目录下,释放并且放到指定的目录:

$ tar -xvzf apache-storm-0.9.5.tar.gz
$ mv apache-storm-0.9.5 /usr/
$ cd /usr/apache-storm-0.9.5

  接下来需要修改配置文件storm.yaml,执行vim conf/storm.yaml打开文件:

  去掉storm.zookeeper.servers:前面的注释,修改为集群中所有部署zookeeper的主机,当然都可以自己手动添加,具体配置如下:

  

  增加storm.local.dir选项,指定nimbus,supervisor进程用于存储少量的状态数据,比如jar包,配置文件等

  

  待会写好配置文件我们需要手动建立这个目录

  下面指定supervisor工作节点,需要配置该节点可以运行的worker数量,每个worker占用一个端口用于接收消息,最多分配5个;默认情况下每个节点可以运行4个worker,分别在6700、6701、6702、6703端口,这里定义3个端口,代表最多运行3个worker:

  

  下面设置集群主机,让集群中所有的节点可以从主机下载拓扑以及配置文件,主机上运行的就是nimbus,而其他节点就是supervisor进程,这里hadoopha为nimbus,而hadoop1和hadoop2为supervisor,所以配置如下:

  

  下面配置storm集群的drpc地址,这里就是hadoopha,实际中可以自己定义:

  

  最后配置storm进程的分配内存,默认情况下Storm启动worker进程时,JVM的最大内存是768M,由于在使用过程中,Bolt中加载大量数据,768M内存无法满足要求,会导致内存溢出,应该根据实际情况进行修改,这里设置为2G

  

  以上设置没问题,保存配置文件并退出

  然后在3台主机分别创建上面设置的数据目录,必须都要创建:

mkdir -p /usr/data/storm

  上面的配置是在hadoopha上配置的,接下来要把storm目录发送到hadoop1和hadoop2:

$ scp -r apache-storm-0.9.5 hadoop1:/usr/
$ scp -r apache-storm-0.9.5 hadoop2:/usr/

  发送之后,进入storm安装目录,开始启动相应服务

  首先启动Nimbus服务,只在hadoopha上执行:

nohup bin/storm nimbus >> /dev/null &

  上面命令的意思是丢弃输出信息并且放到后台执行,稍微等一下,执行jps查看nimbus进程是否启动:

  

  然后在hadoop1,hadoop2节点都启动Supervisor服务:

nohup bin/storm supervisor >> /dev/null &

  稍等一下,也可以用jps查看到supervisor进程,

  然后在配置drpc的主机hadoopha,drpc是一种后台服务,用于执行和storm相同的计算,但是比较节省资源,一般和nimbus使用同一台主机即可;执行以下命令启动drpc服务:

nohup bin/storm drpc >> /dev/null &

  稍等一下可以分别通过jps命令查看到drpc进程,

  最后在nimbus节点也就是hadoopha执行以下命令,启动UI服务:

nohup bin/storm ui >> /dev/null &

  通过jps可以查看core进程是否启动,启动之后通过访问hadoopha的ip即可进入web管理界面:http://192.168.1.42:8080

  

  到这里基本的storm集群就配置完毕了

本文转载自:http://www.cnblogs.com/freeweb/p/5179410.html

Zero零_度
粉丝 69
博文 1258
码字总数 257684
作品 0
程序员
私信 提问
Storm入门 第三章 Storm安装部署步骤

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 Storm集群中包含...

坏坏一笑
2014/12/03
0
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
2018/07/20
0
0
Storm On Yarn 安装部署

安装 JDK7 和 Maven 部署Hadoop2集群,并启动yarn http://my.oschina.net/zc741520/blog/362824 下载 Storm on Yarn [grid@hadoop4 ~]$ wget https://github.com/yahoo/storm-yarn/archive/m......

张超
2015/05/25
0
0
Kafka实战-Storm Cluster

1.概述   在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Sto...

smartloli
2015/06/18
0
0
【Storm】Storm简介及Storm集群的安装部署

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86557602 1、Storm概述 (1)Storm简介 Storm最早是由BackType公司开发的实时...

魏晓蕾
01/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Angular 英雄编辑器

应用程序现在有了基本的标题。 接下来你要创建一个新的组件来显示英雄信息并且把这个组件放到应用程序的外壳里去。 创建英雄组件 使用 Angular CLI 创建一个名为 heroes 的新组件。 ng gener...

honeymoose
今天
4
0
Kernel DMA

为什么会有DMA(直接内存访问)?我们知道通常情况下,内存数据跟外设之间的通信是通过cpu来传递的。cpu运行io指令将数据从内存拷贝到外设的io端口,或者从外设的io端口拷贝到内存。由于外设...

yepanl
今天
6
0
hive

一、hive的定义: Hive是一个SQL解析引擎,将SQL语句转译成MR Job,然后再在Hadoop平台上运行,达到快速开发的目的 Hive中的表是纯逻辑表,就只是表的定义,即表的元数据。本质就是Hadoop的目...

霉男纸
今天
3
0
二、Spring Cloud—Eureka(Greenwich.SR1)

注:本系列文章所用工具及版本如下:开发工具(IDEA 2018.3.5),Spring Boot(2.1.3.RELEASE),Spring Cloud(Greenwich.SR1),Maven(3.6.0),JDK(1.8) Eureka: Eureka是Netflix开发...

倪伟伟
昨天
13
0
eclipse常用插件

amaterasUML https://takezoe.github.io/amateras-update-site/ https://github.com/takezoe/amateras-modeler modelGoon https://www.cnblogs.com/aademeng/articles/6890266.html......

大头鬼_yc
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部