文档章节

Zookeeper入门笔记(一)

z201
 z201
发布于 2016/09/11 15:04
字数 1681
阅读 105
收藏 2

#Zookeeper概述

  • 背景
    • Zookeeper可以让企业的IT架构逐步从集中式向分布式过度,所谓的分布式是指:把一个计算任务分解成若干个计算单元,并且分派到若干不同的计算机中去执行,然后汇总计算结果的过程。
    • Zookeeper介绍
      • Zookeeper是源代码开放的分布式协调服务,由雅虎创建,是Google Chubby开源实现。Zookeeper是一个高性能的分布式数据一致性解决方案,它将那些复杂、容易出错的分布式一致性服务封装起来,构成一个搞笑可靠的原语集,并提供一系列简单易用的接口给用户使用。
  • Zookeeper的典型应用场景
    • 数据发布/订阅 顾名思义就是一方把数据发布出来,另一方通过某种手动可以得到这些数据。
      • 通常数据订阅有两种方式:推模式和拉模式,推模式一般是服务器主动向客户端推送消息,拉模式是客户端主动去服务端获取数据(通常采用的是轮询的方式)。
      • Zookeeper采用两种方式的结合。
        • 发布者将数据发布到Zookeeper集群节点上,订阅者通过一定的方法告诉服务器,我对那个节点的数据感兴趣,那个服务器在这些节点的数据发送变化时,就通知客户端,客户端得到通知后可以去服务器获取数据信息。
        • 分布式协调/通知
          • 心跳检测:在分布式系统中,通常需要机器是否可以用,Zookeeper中我们让所有的机器都注册一个临时节点,所以只需要判断这个节点是否存在就可以了,不需要直接去连接需要检查的机器,降低系统的负载度(节点分为临时和持久)。
    • Zookpeeper重量级使用
      • Hadoop、HBase、Storm、Solr。
  • Zookeeper的基本概览
    • 集群角色
      • Leader、Follower、Observer
        • Leader服务器是整个Zookeeper集群工作机制的核心
        • Follower服务器是Zookeeper集群状态的跟随者
        • Oserver服务器充当一个观察者的角色
        • Leader、Follower设计模式,Observer观察者模式
    • 会话
      • 会话是指客户端Zookeeper服务器的连接,Zookeeper中的会话叫Session,客户端与服务器建立TCP的长连接来维持一个Session,客户端在启动的时候首先会与服务器建立一个TCP连接,通过这个连接客户端能够通过心跳检测与服务器保持有效的会话,也能向Zookeeper服务器发送请求并获得响应。
    • 数据节点
      • Zookeeper中的节点有两类
        • 集群中的一台机器称为一个节点
        • 数据模型中的数据单元Znode,分别为持久节点和临时节点。(其实数据节点就是一个tree节点就是Znode)
    • 版本
      • Zookeeper中的版本
        • version
          • 当前数据节点数据内容版本
        • cversion
          • 当前数据节点子节点的版本号
        • aversion
          • 当前数据节点ACL变更版本号
    • watcher(事件监听器)
      • Zookeeper允许用户在指定节点上注册一些Watcher,当数据节点发生变化的时候,Zookeeper服务器会把这个变化通知发送给感兴趣的客户端。
    • ACL权限控制
      • ACL是Access Contril Lists 的缩写,Zookeeper采用ACL策略来进行权限控制,有以下权限:
        • CREATE:创建子节点
        • READ:获取子节点
        • WRITE:更新子节点数据权限
        • DELETE:删除子节点权限
        • ADMIN:设置节点ACL权限

#Zoopeeper环境搭建(集群、单机、伪集群)

  • 单机模式(设备环境有限暂时单机)
    • 准备工作
      • 下载Zookeeper(此处自行处理)
      • 解压 tar xzvf xxx.gz 解压
      • 重命名文件夹 Zookeeper 命令mv xxx xxx 后面的参数是新名字(可以不做)
      • 进入文件夹中/conf/
      • 复制配置文件zoo_sample.cfg(样例文件) 并重命名 zoo.cfg
    • 编辑zoo.cfg内容(仅供参考,具体环境自行修改)
    • tickTime = 2000
      • tickTime:基本事件单元,以毫秒为单位。这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
    • initLimit= 5
      • initLimit:这个配置项用来配置Zookeeper接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,当已超过5个心跳的时间(也就是tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度是5 * 2000=4s。
    • dataDir = D:\zookeeper\data
      • 顾名思义就是 Zookeeper 保存数据快照的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里)。
    • dataLogDir= D:\zookeeper\log
      • 顾名思义就是 Zookeeper 保存日志的目录。
    • synclimit = 5
      • 这个配置项表示Leader与Follower之间发送消息,请求和应答时间长长度,最长不能超过多少个tickTime的时间长度,总的时间长度是2 * 2000 = 4s。
    • clientPort = 2181
      • 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
    • Server(待续)
      • 格式:server.id=host:port:port(两个port保证可以正常使用就行)
        • id:通常为整数,并且不能重复使用整数。
        • host:服务器的IP地址。
        • port: Follower端口
        • port: Leader选举投票。
      • ZooKeeper建议使用hostname,而非ip。这需要对主机的/etc/hostname和/etc/hosts做host绑定(不同的OS不同修改方式)。
      • 创建一个myid文件(放在 dataDir文件下面)
      • 写入一行数据(请查阅zoo.cfg文件)
        • 写入id位置的数据即可。表示当前系统环境Zookeeper是哪一个Server(通讯用的)。
    • 启动服务与停止服务
    • 进入bin/文件
    • 执行zkServer.cmd 或则 zkServer.sh
    • CMD直接双击运行 ,SH则 sudo sh ./zkServer.sh start 启动 stop 关闭
    • 验证 使用telnet来测试(自行安装)
      • telnet ip port 敲命令 stat 若返回数据表示当前服务器不能对外提供服务表明集群下其他服务器未启动(在Zookeeper中只要有半数的服务器正常工作就可以向外提供服务)。
    • 在此简单说明下何为伪集群就是在一台服务器上的多个Zookeeper的集群叫伪集群(伪集群 两个port不能与其他zookeeper的port一样)。
    • 单机模式就删除其他服务器运行的时候就是单机模式。

© 著作权归作者所有

z201
粉丝 13
博文 36
码字总数 27735
作品 0
杭州
后端工程师
私信 提问
ZooKeeper教程资源收集(简介/原理/示例/解决方案)

菩提树下的杨过: ZooKeeper 笔记(1) 安装部署及hello world ZooKeeper 笔记(2) 监听数据变化 ZooKeeper 笔记(3) 实战应用之【统一配置管理】 ZooKeeper 笔记(4) 实战应用之【消除单点故障】...

easonjim
2017/09/05
0
0
认识ZooKeeper运行环境

文档背景: 安装ZooKeeper已经有一段时间了。中间停了一段时间,今天再用发现已经生疏了。忘了zookeeper安装在集群的哪几台机器上了。 目的: 现对拿到一个新的zookeeper环境时,如何认识zoo...

hiqj
2015/07/27
0
0
Kafka Partition Leader选主机制

Kafka Partition Leader选主机制 更多干货 分布式实战(干货) spring cloud 实战(干货) mybatis 实战(干货) spring boot 实战(干货) React 入门实战(干货) 构建中小型互联网企业架构...

tantexian
2018/11/14
0
0
docker入门到实战(6)在docker中安装和使用kafka

下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像,在hub.docker.com中可以搜索到。 1、docker pull wurstmeister/zookeeper 2、docker pull wurstmeister/...

编程老司机
2018/05/14
0
0
zookeeper:zookeeper学习笔记

PS:本篇博客仅仅是个人的笔记,且是个人的理解,文字较为口语化,如有错误,请大牛指出。如果想了解更深入的,可以根据我这篇博客的情况自行查找网上资料(官网或者其他大牛的博客详解) 一...

琴兽
03/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

spring 本类中方法调用另外一个方法事务不生效

1、在spring配置文件中添加 <aop:aspectj-autoproxy expose-proxy="true"/> 声明自动代理 2、AopContext.currentProxy()来获取代理类 3、使用代理类proxy进行代理调用内部声明了事务的方法 ......

重城重楼
12分钟前
2
0
项目 banner 乱弹

------------------------------------------ 村上春树 ------------------------------------- 如果我爱你,而你也正巧爱我,你头发乱了的时候,我会笑笑地替你拨一拨,然后手还留恋地在你...

宿小帅
24分钟前
1
0
PHP获取未来七天的日期和星期

php获取未来七天的日期和星期代码 第一步:获取需要天数的日期,然后调用函数 //获取未来七天的日期 for($i=1;$i<8;$i++){ $dateArray[$i]=date('Y-m-d',strtotime(d...

一只懒猫-
35分钟前
0
0
总结:IO模型

分类 多路复用 参考文章: https://www.jianshu.com/p/6a6845464770 https://www.cnblogs.com/zingp/p/6863170.html https://blog.csdn.net/sehanlingfeng/article/details/78920423......

浮躁的码农
39分钟前
0
0
fabric-sdk-java 1.4安装说明

Hyperledger Fabric Java SDK是开发基于Hyperledger Fabric区块链的Java应用之必备开发包。本文将介绍如何在Maven、Gradle和Eclipse中安装使用最新1.4版本的Hyperledger Fabric Java SDK。 ...

汇智网教程
40分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部