文档章节

Zookeeper系列(三):应用场景

守望者之父
 守望者之父
发布于 09/06 16:43
字数 632
阅读 45
收藏 1

Zookeeper被广泛应用于各种分布式集群场景中,比如Hadoop、Storm、Spark、Kafka等,要想学好大数据分析,不可避免的要用到大规模机器集群,了解和掌握Zookeeper的工作原理将会对学好大数据分析起到事半功倍的作用。

1、实时配置文件

Zookeeper可以作为互联网应用的实时配置开关,将配置信息设置在Zookeeper的node上,并在应用中设置Zookeeper的观察者,实时获取该node关联数据的变化,达到动态实时控制应用的配置信息的目的,实时调控生产环境各项参数。

在大型电商网站中,这种方式可用于节假日等流量爆发的场景,关闭某些不太重要的电商网站功能,降低并发量大爆发对服务器性能的冲击。 

2、Kafka中使用

Kafka通过Zookeeper的使用提供给客户端负载均衡能力,每个Kafka客户端直接通过连接Zookeeper就能获得整个Kafka的配置信息。

Kafka将队列服务的机器注册在Zookeeper上,同时维护客户端列表,依靠负载均衡算法将客户端动态分配到合适的队列分区上,维持整个集群的负载均衡。客户端不需要预先知道当前的队列到底分配在哪个机器上,通过Zookeeper获取队列分配的动态变化。

3、Hadoop使用

在Hadoop1.x版本中Master是单节点模式,存在单点故障不支持热备份。Hadoop2.x版本已经开始支持使用Zookeeper作为Master节点的高可靠性方案。

Hadoop客户端连接集群时指定Zookeeper服务器地址,从Zookeeper获取当前Master节点地址,进而连接Master操作Hadoop。Hadoop客户端同时监听Zookeeper中数据变化,当Master节点切换时会将切换状态变更保存到Zookeeper中,同时Zookeeper会触发数据变化监听客户端,通知Hadoop客户端切换Master地址,达到热切换(HA)的目的。

4、参考

ZooKeeper官网:http://zookeeper.apache.org/

Netty官网:http://netty.io/

 

© 著作权归作者所有

守望者之父
粉丝 13
博文 127
码字总数 123949
作品 0
南京
私信 提问
ZooKeeper教程资源收集(简介/原理/示例/解决方案)

菩提树下的杨过: ZooKeeper 笔记(1) 安装部署及hello world ZooKeeper 笔记(2) 监听数据变化 ZooKeeper 笔记(3) 实战应用之【统一配置管理】 ZooKeeper 笔记(4) 实战应用之【消除单点故障】...

easonjim
2017/09/05
0
0
【Zookeeper系列三】ZooKeeper Java API使用

Zookeeper系列 【Zookeeper系列一】Zookeeper应用介绍与安装部署 【Zookeeper系列二】ZooKeeper典型应用场景实践 【Zookeeper系列三】ZooKeeper Java API使用 【Zookeeper系列四】ZooKeeper...

陶邦仁
2015/11/18
3.2K
2
【Zookeeper系列二】ZooKeeper典型应用场景实践

Zookeeper系列 【Zookeeper系列一】Zookeeper应用介绍与安装部署 【Zookeeper系列二】ZooKeeper典型应用场景实践 【Zookeeper系列三】ZooKeeper Java API使用 【Zookeeper系列四】ZooKeeper...

陶邦仁
2015/11/17
6.9K
3
分布式网站架构后续:zookeeper技术浅析

 Zookeeper是hadoop的一个子项目,虽然源自hadoop,但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper,本文不谈如何使用zookeeper,而是zookeeper...

蓝狐乐队
2014/04/21
286
0
Zookeeper学习系列(7)

Zookeeper场景描述 在分布式的应用中,我们经常同时启动多个server,调用方(client) 选择其中之一发起请求。 分布式应用必须考虑高可用性和可扩展性:server的应用进程可能会崩溃。或者ser...

momoHuang
2014/07/01
87
0

没有更多内容

加载失败,请刷新页面

加载更多

华为手机翻译功能怎么使用?这三种方法请务必收藏

华为手机翻译功能怎么使用?在我们的生活中会经常遇到翻译问题,许多外语不好的朋友该怎么办呢?华为手机已经为我们解决了这个问题,今天小编就教大家学会使用华为手机中的三种翻译技巧,需要...

翻译小天才
33分钟前
4
0
企业服务软件开发中需要注意的三个问题

在开发企业服务软件时,我们需要分为:业务需求、用户需求、产品需求,三大需求层次,三个层次互相关联,企业服务软件开发首先要服务业务,需要满足业务的需求,再关注用户体验,也就是用户需...

积木创意科技
36分钟前
4
0
C++容器底层数据结构

内置数组: int arr[10][10];memset(arr,0,10*10*sizeof(int)); //初始化int tmp[10][10];memcpy(arr, tmp, 10 * 10 * sizeof(int));//拷贝 void *memcpy(void *destin, void *source,......

SibylY
36分钟前
3
0
Dubbo-自适应拓展机制

背景 在 Dubbo 中,很多拓展都是通过 SPI 机制进行加载的,比如 Protocol、Cluster、LoadBalance 等,这些都是Dubbo的基础组件。这些基础组件的拓展不是在系统框架启动阶段被加载,而是拓展方...

rock-man
今天
7
0
Kali安装fcitx输入法(五笔)

安装fcitx > sudo apt-get install fcitx-rime fcitx-config-gtk3 重启 > sudo reboot fcitx配置 效果就是这样 配置输入法切换 系统设置...

yeahlife
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部