文档章节

Apache Storm 集群配置文档

稻草鸟人
 稻草鸟人
发布于 2016/05/03 09:28
字数 615
阅读 750
收藏 2

我们使用如下三台机器搭建Storm集群,此文档在我们已经安装了zookeeper集群、JDK的前提下有效

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不说明的情况下都是在96这台机器上做的操作

安装配置

首先下载解压

wget http://mirrors.noc.im/apache/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz  
tar xzvf  apache-storm-1.0.0.tar.gz  
cd apache-storm-1.0.0

其次编辑conf/storm.yaml文件

1) storm.zookeeper.servers: storm集群使用的zk集群地址,如果zk使用的不是默认2181的端口,那么我们还要增加 storm.zookeeper.port的配置项 
2) storm.local.dir 用于存储少量数据,需要我们提前创建好目录   
3) nimbus.seeds 让工作节点知道哪个是nimbus以便下载topology的jar和conf  
4) supervisor.slots.ports 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。
每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。
默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口 
5)这里的cluster1对应96,cluster2对应45,cluster3对应34机器,刚开始的时候我这里都是直接写的ip,
但是storm ui起来之后发现如下情况,都是localhost而且nimbus里面有两个,如下图

6) 如何将ip和cluster1、cluster2、cluster3对应起来呢,我们需要配置机器的hosts和hostname,拿96这台机器来举例: 

同步storm到其他机器上

scp -r apache-storm-1.0.0/ 192.168.1.45:/data/strawbird/apache-storm-1.0.0
scp -r apache-storm-1.0.0/ 192.168.1.34:/data/strawbird/apache-storm-1.0.0

启动

在主节点也就是96这台机器上启动Nimbus,在从节点也就是45和34这两台机器上启动Supervisor服务
bin/storm nimbus &
bin/storm supervisor &
在主节点上启动storm ui,经测试storm ui在supervisor节点上启动之后访问URL: http://xxx.xxx.xxx:8080不能正确显示
bin/storm ui &
起来之后我们就可以看到如下截图,这就是正常了

参考文档

【1】http://storm.apache.org/releases/1.0.0/Setting-up-a-Storm-cluster.html

2016/4/25 17:33:01

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布,欢迎转载、使用、重新发布,但务必保留文章署名稻草鸟人(包含此订阅号二维码)

© 著作权归作者所有

稻草鸟人

稻草鸟人

粉丝 51
博文 12
码字总数 10204
作品 0
上海
后端工程师
私信 提问
【Storm】Storm简介及Storm集群的安装部署

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86557602 1、Storm概述 (1)Storm简介 Storm最早是由BackType公司开发的实时...

魏晓蕾
01/20
0
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
2018/07/20
0
0
Apache Slider + Storm

Apache Slider + Storm 系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Storm......

Yulong_
2016/09/21
457
0
Kafka实战-Storm Cluster

1.概述   在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Sto...

smartloli
2015/06/18
0
0
年薪40万的大数据工程师是如何安装Strom

Strom集群的安装配置 主机规划 一、准备服务器 l 关闭防火墙 chkconfig iptables off && setenforce 0 l 创建用户 groupadd hadoop && useradd hadoop  && usermod -a -G hadoop hadoop l ......

爱尚实训
2018/04/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

一套完整的软件开发流程是怎样的?

做什么事都需要一个流程,软件开发也不例外。 那么,一个软件从无到有到底是怎么开发的?一个软件产品的结果为什么是这样?为什么开发的速度不能再快一点。为什么程序员大多秃顶?他们有那么...

我想造火箭
23分钟前
4
0
漂亮思维导图怎样绘制?教你快速套用思维导图模板绘制d

用MindMaster软件绘制思维导图,会更加高效和美观!因为MindMaster是一款专业的思维导图软件,零基础经验的朋友花费5分钟时间就能掌握它的相关画法。以下是电脑软件思维导图画法的简单步骤。...

工具分享
26分钟前
4
0
linux 软链接与 硬链接的区别

软链接与硬链接的区别 1. 硬链接不会创建inode,即使用的inode都是一样的。软链接会创建新的inode。 2. 硬链接的访问属性和源文件一模一样,没有l的标识。软链接的访问属性写明了是l,且访问...

突突突酱
27分钟前
2
0
新特性解读 | MySQL 8.0.18 有权限控制的复制

原文:Replication with restricted privileges https://mysqlhighavailability.com/replication-with-restricted-privileges/ 作者:Pedro Figueiredo 翻译:管长龙 背景 MySQL 8.0.18 以前......

爱可生
36分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部