文档章节

zookeeper java客户端使用

 我就是我110
发布于 2015/08/13 18:13
字数 1849
阅读 616
收藏 5

ZooKeeper是一个优秀的分布式协同工具,很多分布式项目都基于它进行架构设计,不过要想要对其有一个深入的理解(如果你想阅读其源代码),对其客户端API的熟悉必不可少。下面就简要记录一下ZooKeeper中各个API的简单用法。


这篇文章不打算对ZooKeeper的基本概念及安装进行讲解,想要了解这部分内容可以参考:http://zookeeper.apache.org/doc/r3.4.3/zookeeperOver.html , 
或者可以参考:http://zookeeper.apache.org/doc/r3.4.3/zookeeperProgrammers.html
均是官方文档,这也是想要学习某个开源工具必须的先行步骤,并且官网上的文档也应该算是最权威的,不过ZooKeeper在这方面的文档不怎么多,但作为入门了解,还是非常有用的。


下面将从基本用法,Watchert的用法,异步调用以及ACL四个方面对ZooKeeper客户端编程作简要介绍。
当完成这四个方面的理解以后,就可以使用ZK完成一些更加高级的任务,如分布式锁、Master选举、一致性服务保障、配置管理等。官方文档对此也有简要介绍,
参考:http://zookeeper.apache.org/doc/r3.4.3/recipes.html


基本数据结构

class Stat {  
  private long czxid;  
  private long mzxid;  
  private long ctime;  
  private long mtime;  
  private int version;  
  private int cversion;  
  private int aversion;  
  private long ephemeralOwner;  
  private int dataLength;  
  private int numChildren;  
  private long pzxid;  
}  
class Id {  
  private String scheme;    //world、auth、digest、ip  
  private String id;  
}   
class ACL {  
  private int perms;    //CREATE、READ、WRITE、DELETE、ADMIN  
  private org.apache.zookeeper.data.Id id;  
}



基本使用

try {      
      static String hostport = "127.0.0.1:2181";  
      ZooKeeper zooKeeper = new ZooKeeper(hostport, 300000, null);    //创建一个ZooKeeper实例,不设置默认watcher  
      String path = "/test";  
      zooKeeper.create(path, path.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);    //创建一个节点  
      Stat stat = new Stat();  
      byte[] b = zooKeeper.getData(path, false, stat);    //获取节点的信息及存储的数据  
      System.out.println(stat);  
      System.out.println(new String(b));  
      stat = zooKeeper.exists(path, false);    //查看path所代表的节点是否存在  
      zooKeeper.setData(path, "helloworld".getBytes(), stat.getVersion());    //设置节点的数据  
      //zooKeeper.delete(path, -1);    //删除节点  
      zooKeeper.close();    //关闭实例  
} catch (Exception e) {  
      e.printStackTrace();  
}




ZooKeeper通过Auth和ACL完成节点的权限控制。

Auth表示某种认证,由于一个ZooKeeper集群可能被多个项目使用,各个项目 属于不同的项目组,他们在进行开发时肯定不想其他项目访问与自己相关的节点,这时可以通过为每个项目组分配一个Auth,然后每个项目组先通过Auth认 证以后再继续相关的操作,这样甲Auth认证的用户就不能操作其他Auth认证后创建的节点,从而实现各个项目之间的隔离。ZooKeeper提供了如下 方法完成认证,如下所示:
Void addAuthInfo(String scheme, byte[] auth) ,使用示例如下:

@Test  
    public void testFirstStep() {  
        try {  
            zk = new ZooKeeper(hostport, 1000000, null);  
              
            String auth_type = "digest";  
            String auth = "joey:some";  
              
            String p = "/acl_digest";  
              
            zk.addAuthInfo(auth_type, auth.getBytes());  
              
            zk.create(p, "hello".getBytes(), Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);  
              
            Stat stat = new Stat();  
            System.out.println(new String(zk.getData(p, false, stat)));  
  
            zk.close();  
        } catch(Exception ex) {  
            ex.printStackTrace();  
        }  
    }  
    @Test  
    public void testSecondStep() {  
        String p = "/acl_digest";  
      
    try {  
        zk = new ZooKeeper(hostport, 1000000, null);  
          
        String authType = "digest";  
         String badAuth = "joey:someBAD";  
              
            zk.addAuthInfo(authType, badAuth.getBytes());  
            Stat stat = new Stat();  
            System.out.println(new String(zk.getData(p, false, stat)));  
        } catch(Exception ex) {  
            ex.printStackTrace();  //抛出异常  
        } finally {  
            try {  
                zk.delete(p, -1);  
                zk.close();  
            } catch (Exception e) {  
                e.printStackTrace();  
            }  
              
        }  
    }


ACL用于控制Znode的访问,和Unix文件访问权限类似,提供对某类用户设置某种权限的能力(如Unix中对Owner提供读、写、执行的权限), 但是在ZooKeeper中没有Owner、Group等概念,于是在ZooKeeper中使用ID表示某一类用户,可以对ID设置某种权限。 (ZooKeeper对ID的数量没有限制,不像Unix文件仅支持三种类型用户)

ZooKeeper支持的权限:
CREATE: you can create a child node
READ: you can get data from a node and list its children.
WRITE: you can set data for a node
DELETE: you can delete a child node
ADMIN: you can set permissions


ZooKeeper内建的sheme:(scheme是ID的其中一个属性)
world has a single id, anyone, that represents anyone.
auth doesn't use any id, represents any authenticated user.
digest uses a username:password string to generate MD5 hash which is then used as an ACL ID identity. Authentication is done by sending theusername:password in clear text. When used in the ACL the expression will be the username:base64 encoded SHA1 password digest.
ip uses the client host IP as an ACL ID identity. The ACL expression is of the form addr/bits where the most significant bits of addr are matched against the most significant bits of the client host IP.


ZK内建的ID:
ANYONE_ID_UNSAFE    //任意用户
AUTH_IDS     //通过Auth认证过的用户


内建的权限控制集合:
OPEN_ACL_UNSAFE: 创建任何人都可以操作的节点
READ_ACL_UNSAFE: 创建任何人都可以读的节点
CREATOR_ALL_ACL: 设置了Auth的用户可以使用该ACL集合创建节点,该节点也只能被同样Auth授权的用户操作


示例代码如下:

@Test  
    public void testACL_with_ip_scheme() {  
        try {  
            Id id = new Id();  
            id.setScheme("ip");  
            id.setId(InetAddress.getLocalHost().getHostAddress());  
              
            ACL acl = new ACL();  
            acl.setId(id);    //对ID所指定的目标设置权限  
            acl.setPerms(Perms.ALL);  
              
            List<ACL> acls = new ArrayList<ACL>();  
            acls.add(acl);    //可以添加多个运行的IP地址  
              
            String p = "/ip";  
              
            zk.create(p, p.getBytes(), acls, CreateMode.PERSISTENT);  
              
            zk.delete(p, -1);  //仅IP相同的用户可以对该进行进行操作  
        } catch(Exception ex) {  
            ex.printStackTrace();  
        }  
    }


Watcher
可以设置Watcher的方式:

1) 在ZooKeeper的构造函数中可以设置Watcher

2) 使用ZooKeeper.register(Watcher)显示的更改在构造函数中设置的默认Watcher

3) 通过某些方法的调用可以更改某个path对应节点的Watcher    

 

具体可以设置Watcher的方法如下所示:

1)     构造函数: state changes or node events 

2)     Register: 修改构造函数中指定的默认Watcher.

3)     getData: triggered by sets data on the node, or deletes the node. 

4)     getChildren: triggered by deletes the node or creates/delete a child under the node. 

5)     exists: triggered by creates/delete the node or sets the data on the node.

 

其中构造函数阶段指定的Watcher一直有效(register方式属于该类),其余方法设置的Watcher仅有效一次。在方法调用时,如果指 定开启watcher,如果该节点通过getData、getChildren和exists设置了Watcher,就触发该Watcher,然后使得该 Watcher失效(但默认的Watcher还一直生效),否则触发构造函数中设定的默认Watcher。

 

示例代码如下:

class ExistsWatcher implements Watcher {   
   @Override  
        public void process(WatchedEvent event) {  
     System.out.println("---------------------------");  
     System.out.println("setting by exist watcher");  
     System.out.println("path is : " + event.getPath());  
     System.out.println("type is : " + event.getType());  
     System.out.println("state is : " + event.getState());  
     System.out.println("---------------------------");  
  }  
 }  
class DefaultWatcher implements Watcher {  
  @Override  
  public void process(WatchedEvent event) {  
    System.out.println("=====>Default Watch Event: " + event.getType());  
  }  
}  
@Test  
  public void testWatcher() {  
    try {  
      DefaultWatcher defaultWatcher = new DefaultWatcher();  
      ExistsWatcher existsWatcher = new ExistsWatcher();  
      String p = "/watcher";  
      ZooKeeper zk = new ZooKeeper(hostport, 300000, null);  
      zk.register(defaultWatcher);  
      Stat stat = zk.exists(p, existsWatcher);  
      zk.create(p, p.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);  
      stat = zk.exists(p, true);  
      byte[] b = zk.getData(p, true, stat);  
      System.out.println(new String(b));  
      stat = zk.exists(p, true);  
      zk.setData(p, "Iloveyou".getBytes(), stat.getVersion());  
      stat = zk.exists(p, existsWatcher);  
      zk.delete(p, stat.getVersion());  
      zk.close();  
    } catch(Exception ex) {  
      ex.printStackTrace();  
    }  
  }



运行结果如下:

=====>Default Watch Event: None  
---------------------------                        
setting by exist watcher  
path is : /watcher  
type is : NodeCreated  
state is : SyncConnected  
---------------------------  
/watcher  
=====>Default Watch Event: NodeDataChanged  
---------------------------  
setting by exist watcher  
path is : /watcher  
type is : NodeDeleted  
state is : SyncConnected  
---------------------------


异步调用
顾名思义,异步调用是指在调用某个方法后不等待其返回,而是接着处理下面的任务,当方法调用完成时触发某个回调函数,回调函数需要在方法调用时指定,然后在回调函数中处理方法调用的结果。
在ZK中,几乎为每个方法都提供了异步调用的版本,如getData方法,其函数原型如下所示:


void getData(String path, boolean watch, DataCallback cb, Object ctx);
其中: 
DataCallback为提供回调函数的类,
ctx为回调函数需要的参数


示例代码如下:

Children2Callback cb = new Children2Callback() {  
            @Override  
            public void processResult(int rc, String path, Object ctx,  
                    List<String> children, Stat stat) {  
                for (String s : children) {  
                    System.out.println("----->" + s);  
                }  
                System.out.println(ctx);    //输出:helloworld  
            }  
        };  
          
        zk.getChildren(path, true, cb, "helloworld");

© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 7
码字总数 6140
作品 0
大兴
私信 提问
CentOS 6.9安装配置ZooKeeper集群

一、ZooKeeper相关概念简介: ZooKeeper是一个开源的、分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提...

Marion0728
2018/06/26
0
0
ZooKeeper学习笔记-CentOS7.5安装ZooKeeper

ZooKeeper学习笔记-CentOS7.5安装ZooKeeper 安装java环境 安装ZooKeeper 安装java环境 你ZooKeeper的运行需要java环境。 下载 如未安装java环境,下载最新版本的java: https://www.oracle.c...

Super_RD
2018/12/04
0
0
zookeeper 管理员笔记

zookeeper需要java1.6以上 调整好jvm大小,别放在引起swap环境,zookeeper的及时性,不允许swap ################################################################################# zook......

1066897515
2018/06/26
0
0
Spark1.6.0功能扩展——为HiveThriftServer2增加HA

前言 HiveThriftServer2是Spark基于HiveServer2实现的多Session管理的Thrift服务,提供对Hive的集中式管理服务。HiveThriftServer2作为Yarn上的Application,目前只支持yarn-client模式——即...

beliefer
2018/04/16
0
0
Zookeeper 的功能,安装使用方法,可视化工具ZooInspector

http://zookeeper.apache.org/ Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. 一、zookeeper提供......

逝水丶
2017/11/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

再谈使用开源软件搭建数据分析平台

三年前,我写了这篇博客使用开源软件快速搭建数据分析平台, 当时收到了许多的反馈,有50个点赞和300+的收藏。到现在我还能收到一些关于dataplay2的问题。在过去的三年,开源社区和新技术的发...

naughty
今天
3
0
C++网络编程(一)gRPC的编译

Google是真滴烦,整个编译链全是自家产品,在编译之前先来安装一堆东西 安装环境依赖 chocolatey Windows下的包管理系统,没有他就慢慢去下载下面的一堆乱七八糟的东西吧。CMD下执行下面这句...

Pulsar-V
今天
3
0
Python3的日期和时间

python 中处理日期时间数据通常使用datetime和time库 因为这两个库中的一些功能有些重复,所以,首先我们来比较一下这两个库的区别,这可以帮助我们在适当的情况下时候合适的库。 在Python文...

编程老陆
今天
2
0
分布式面试整理

并发和并行 并行是两个任务同时进行,而并发呢,则是一会做一个任务一会又切换做另一个任务。 临界区 临界区用来表示一种公共资源或者说是共享数据,可以被多个线程使用,但是每一次,只能有...

群星纪元
今天
3
0
手机通过wifi遥控arduino

手机下载Blinker 从Blinker官网下载手机App,安装到手机。 手机连接WiFi。 点击我的设备右上角的"+"添加设备,选择Arduino -> wifi接入,复制密钥以备后续使用。 点击新建的设备,可以在新界...

davidwbnu
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部