文档章节

strom.yaml配置

 如风达
发布于 2015/01/23 14:33
字数 632
阅读 67
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

配置storm.yaml


storm发行版在conf/storm.yaml包含了一些配置信息。你可以在这里看到默认配置。storm.yaml里面的配置比default.xml的优先级要高, 下面是要运行storm集群所必须的配置:


1. storm.zookeeper.servers 这个配置storm集群使用的zookeeper集群的地址,比如:


storm.zookeeper.servers:

- "111.222.333.444"

- "555.666.777.888"

2. storm.local.dir Nimbus和Supervisor在本地磁盘上需要一个目录来存储一些状态信息(jar包, 配置文件之类的东西)你应该在每台机器上创建那个目录,分配正确的权限,比如:


storm.local.dir: "/mnt/storm"

3. java.library.path 这是storm所依赖的本地依赖(ZeroMQ和JZMQ)的加载地址, 默认的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情况下是对的,所以你应该不用更改这个配置。


4. nimbus.host 所有工作机器需要nimbus机器的地址, 这样它们才知道去哪里获取jar包和配置文件:


nimbus.host: "111.222.333.44"

5. supervisor.slots.ports 对于每一台工作机器,这个配置指定在这台工作机器上运行多少工作进程, 每个进程使用一个独立端口来接收消息,这个配置同时也指定使用哪些端口。如果你在这里定义5个端口, storm会在这个机器上最多分配5个工作进程。如果分配3个端口,那么最多分配3个进程。默认的配置是4个:


supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

启动守护进程


最后一步是启动storm的所有守护进程。还是前面说的那样,对于每个进程都要有监控!storm是一个fail-fast系统,出现什么不可预知的错误的时候它都会退出的。storm被设计成在任何时候都可以安全退出, 在任何时候都能正确重启, 这就是storm为什么不在线程内存储状态 — 如果Nimbus和Supervisor重启的话,不会影响正在运行的topology。下面介绍如何启动这些线程:


Nimbus 在Nimbus机器上运行bin/storm nimbus

Supervisor 在每台工作机器上运行bin/storm supervisor, supervisor负责启动和终止工作机器上的工作进程。

UI storm UI是一个可以查看storm运行状态的的一个网站,通过bin/storm ui运行,访问地址: http://{nimbus.host}:8080/。

就像你能看到的一样,运行storm集群很简单。这些进程会往你解压storm发行版的目录的子目录logs目录里面打日志。


本文转载自网络

上一篇: storm启动命令
下一篇: 什么是RabbitMQ
粉丝 7
博文 256
码字总数 23157
作品 0
深圳
私信 提问
年薪40万的大数据工程师是如何安装Strom

Strom集群的安装配置 主机规划 一、准备服务器 l 关闭防火墙 chkconfig iptables off && setenforce 0 l 创建用户 groupadd hadoop && useradd hadoop  && usermod -a -G hadoop hadoop l ......

爱尚实训
2018/04/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

没有更多内容

golangWeb框架---github.com/gin-gonic/gin学习四(模型绑定、自定义校验、ShouldBindXXX、BindXXX)

文章目录 模型绑定、校验 绑定json(ShouldBindJSON) 绑定xml(ShouldBindXML)、form(ShouldBind) 自定义校验器(demo有问题) BindQuery\ShouldBindQuery(只限查询参数) BindJson(json)、Bind(...

osc_sju4uxml
19分钟前
13
0
golangWeb框架---github.com/gin-gonic/gin学习八(监听多端口、多类型的struct模型绑定)

文章目录 监听多端口 自定义的struct绑定form-data 监听多端口 如何利用gin实现监听多端口 package main import ( "log" "net/http" "time" "github.com/gin-gonic/gin" "golang.org/x/sync/......

osc_04b0bwu2
21分钟前
8
0
golangWeb框架---github.com/gin-gonic/gin学习三(路由多视图函数、中间件、log日志)

文章目录 gin.New 路由包含多个HandlerFunc函数 使用中间件 如何写log日志 gin.New 我们之前的例子都是利用了gin.Default(),那么gin.New()跟它有什么区别?来简单看下源码 gin.Default()源码...

osc_3361hjxk
22分钟前
11
0
golangWeb框架---github.com/gin-gonic/gin学习一(路由、多级路由、参数传递几种形式)

文章目录 Gin介绍 安装 快速开始 路径参数 构造参数 post传参 get+post混合形式 构造Map格式 分组路由 Gin介绍 Gin是一个golang的微框架,封装比较优雅,API友好,源码注释比较明确,已经发布...

osc_0boqdoe2
23分钟前
16
0
golangWeb框架---github.com/gin-gonic/gin学习七(重定向、中间件Goroutines、http自定义配置)

文章目录 重定向 服务器内部重定向 中间件 中间件内部的Goroutines HTTP自定义配置 重定向 package main import ( "github.com/gin-gonic/gin" "net/http" ) func main() { router := gin.De......

osc_mgvk29y5
25分钟前
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部