Storm部署经验
Storm部署经验
zyqJustin 发表于2年前
Storm部署经验
  • 发表于 2年前
  • 阅读 9
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: Storm线上环境部署经验

1. storm强依赖于zookeeper, 要求zookeeper 能快速读写硬盘,建议zookeeper单独配置硬盘。

2. 增加zookeeper最大连接数,默认60,可以配置maxClientCnxns=500

3. nimbus 部署的机器,不建议部署supervisor

4. 定时批量重启 supervisor,因为supervisor是个daemon进程,会不停的创建自进程,当使用时间过长,会打开过多的文件句柄,导致worker变慢,可以一定周期重启一下

5. nimbus 存在单点问题,比较脆弱,需要用supervisord这样的daemon工具拉起来,并定时监控上报重启时间。

6. 安装配置软连接storm =》 storm 0.9.4,方便升级

7. 配置中 storm.local.dir指向的地址,应指向 storm安装目录以外的公共的地址,方便升级后数据保留

8. storm.messaging.netty.server_worker_threads 和 storm.messaging.netty.client_worker_threads 可适当增加数量

9. slot的配置数 可参照 CPU核数 - 1


以上经验部分参照阿里的运维部署经验。


共有 人打赏支持
粉丝 7
博文 26
码字总数 20204
×
zyqJustin
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: