文档章节

Storm集群搭建

把南墙撞开
 把南墙撞开
发布于 2017/02/03 23:22
字数 164
阅读 3
收藏 0

虚拟机4台:hdp0  hdp1  hdp2  hdp3


1、在hdp0、hdp1、hdp2安装ZooKeeper;


2、将Storm安装包解压到hdp0上;


3、修改conf/storm.yaml

storm.zookeeper.servers: 

-"hdp0"

-"hdp1"

-"hdp2"

nimbus.host:"hdp0"

可选配置项:

supervisor.slots.ports

-6701

-6702

-6703

-6704

-6705

配置supervisor的slots数,即worker数。默认为前4个。


4、将配置好的Storm文件夹scp至hdp1、hdp2、hdp3


5、启动

前台程序,关闭窗口,则程序退出


在nimbus主机上

bin/storm nimbus        

bin/storm ui      此命令启动web服务,8080端口


在supervisor上

bin/storm supervisor


6、提交jar包

bin/storm jar xxx.jar 包名.类名


7、停止Topology

bin/storm list  //列出正在运行的topology

bint/storm kill topo_name  //杀掉topo_name



本文转载自:http://blog.csdn.net/weixin_37289816/article/details/54845818

把南墙撞开
粉丝 0
博文 73
码字总数 21068
作品 0
昌平
私信 提问
Twitter Storm集群搭建小结

最近自己尝试搭建了一下Twitter Storm的集群,参考了很多网友的博客,特别是徐明明的;这里只对自己搭建时的过程和所遇到的问题做一个小总结,方便查阅。 Storm是Twitter开源的一个实时计算框...

Breath_L
2012/10/21
7.3K
4
Kafka实战-Storm Cluster

1.概述   在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Sto...

smartloli
2015/06/18
0
0
Storm入门 第三章 Storm安装部署步骤

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 Storm集群中包含...

坏坏一笑
2014/12/03
86
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
2018/07/20
0
0
Storm概念讲解和工作原理介绍

Strom的结构 Storm与传统关系型数据库 传统关系型数据库是先存后计算,而storm则是先算后存,甚至不存 传统关系型数据库很难部署实时计算,只能部署定时任务统计分析窗口数据 关系型数据库重...

张超
2015/04/26
2.8K
0

没有更多内容

加载失败,请刷新页面

加载更多

web前端开发高级

前端高效开发框架技术与应用 Vue 基础 Vue 框架简介 MVX 模式介绍 Vue 框架概述 如何使用 Vue.js 基础语法 实例对象 生命周期 模板语法 计算属性 Methods 方法 渲染 列表渲染 条件渲染 事件与...

达达前端小酒馆
40分钟前
6
0
PostgreSQL 11.3 locking

rudi
今天
5
0
Mybatis Plus sql注入器

一、继承AbstractMethod /** * @author beth * @data 2019-10-23 20:39 */public class DeleteAllMethod extends AbstractMethod { @Override public MappedStatement injectMap......

一个yuanbeth
今天
21
1
一次写shell脚本的经历记录——特殊字符惹的祸

本文首发于微信公众号“我的小碗汤”,扫码文末二维码即可关注,欢迎一起交流! redis在容器化的过程中,涉及到纵向扩pod实例cpu、内存以及redis实例的maxmemory值,statefulset管理的pod需要...

码农实战
今天
5
0
为什么阿里巴巴Java开发手册中不建议在循环体中使用+进行字符串拼接?

之前在阅读《阿里巴巴Java开发手册》时,发现有一条是关于循环体中字符串拼接的建议,具体内容如下: 那么我们首先来用例子来看看在循环体中用 + 或者用 StringBuilder 进行字符串拼接的效率...

武培轩
今天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部