文档章节

基于zk的配置管理

xixicat
 xixicat
发布于 2015/02/17 09:02
字数 885
阅读 135
收藏 1

一、使用netflix的ZooKeeperConfigurationSource

(1)参考文档

https://github.com/Netflix/archaius/wiki/ZooKeeper-Dynamic-Configuration

 

(2)添加依赖

<dependency>
            <groupId>com.netflix.archaius</groupId>
            <artifactId>archaius-core</artifactId>
            <version>0.6.5</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.curator</groupId>
                    <artifactId>curator-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.netflix.archaius</groupId>
            <artifactId>archaius-zookeeper</artifactId>
            <version>0.6.5</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.curator</groupId>
                    <artifactId>curator-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

 

如果之前pom文件已经引入了curator-client,则需要在引入archaius时exclude下

 

(3)代码

@Before
    public void before() throws Exception {
        String zkConfigRootPath = "/cfg";
        CuratorFramework client = ZkClientUtil.getClient();
        ZooKeeperConfigurationSource zkConfigSource = new ZooKeeperConfigurationSource(client, zkConfigRootPath);
        zkConfigSource.start();
        DynamicWatchedConfiguration zkDynamicConfig = new DynamicWatchedConfiguration(zkConfigSource);
        ConfigurationManager.install(zkDynamicConfig);
    }

    /**
     * 仅仅是在本地内存中更新
     * 即ConcurrentMapConfiguration中的map更新
     * 不会更新到zk
     */
    @Test
    public void locatSet(){
        String key = "com.fluxcapacitor.my.property";
        System.out.println("before set zk config");
        ConfigurationManager.getConfigInstance().setProperty(key,"123");
        System.out.println("after set zk config");
        String myProperty = DynamicPropertyFactory.getInstance()
                .getStringProperty(key, "<none>")
                .get();
        Assert.assertEquals(myProperty,"123");
    }

 

二、自定义的zkconfig

(1)ZooKeeperConfigurationSource的局限

     它是在start的时候,去注册节点的监听事件,默认采用的是pathChildrenCache只能监听子节点的变化事件,如果需要监听整个树的话,则需要TreeCache。

     它是在new DynamicWatchedConfiguration的时候去读取zk的所有数据的。

public DynamicWatchedConfiguration(WatchedConfigurationSource source, boolean ignoreDeletesFromSource,
            DynamicPropertyUpdater updater) {
        this.source = source;
        this.ignoreDeletesFromSource = ignoreDeletesFromSource;
        this.updater = updater;

        // get a current snapshot of the config source data
        try {
            Map<String, Object> currentData = source.getCurrentData();
            WatchedUpdateResult result = WatchedUpdateResult.createFull(currentData);

            updateConfiguration(result);
        } catch (final Exception exc) {
            logger.error("could not getCurrentData() from the WatchedConfigurationSource", exc);
        }

        // add a listener for subsequent config updates
        this.source.addUpdateListener(this);
    }

 

      内存数据存储在ConcurrentMapConfiguration中的map中,对于set方法,只是作用于此map,并不会对远程zk进行set操作

 

(2)zk默认的最终一致性

      zk默认采用的是最终一致性的,即对于一个更新操作,leader在获得超半数follower的支持后,返回更新。这里有两个问题容易导致一致性问题:

A、如果应用程序是通过本地内存读取的数据,则由于zk的事件通知延迟,可能读到脏数据

B、如果应用程序是通过远程读取zk的数据,则由于zk leader同步数据到follower的延迟,可能连接到的follower尚未更新,读到脏数据

 

(3)zk读取最新数据

      如果要读取最新数据,则需要采取上边提到的B方法,但是在该方法之前先,调用下zk的client方法,跟leader同步数据,只要是在sync之前更新的数据,sync之后,读到的是最新的。但是会有性能消耗问题:

 /**
     * 强一致性的读取方法
     * 不从本地内存缓存读取
     * 也不从zk的follower读取
     * 通过sync从zk的leader读取
     * @param key
     * @param defaultValue
     * @return
     */
    private Object getRawPropertySync(String key,Object defaultValue){
        String fullPath = ZkClientUtil.getFullPath(rootPath,key);
        ZkClientUtil.sync(fullPath);
        Object value = ZkClientUtil.getValue(fullPath);
        if(value != null){
            return  value;
        }
        //if read from zk is null,return defaultValue
        return defaultValue;
    }

 

(4)根据大部分场景的折中方案

       大部分场景是读多写少,对于新增配置的操作,从本地内存读取,读取不到,则从zk去读取,这样能最大限度地保证读到最新数据;对于更新操作,始终都是更新到zk,然后本地内存等待zk事件通知,才更新本地数据。

       由于配置通常不区分add操作还是update操作,因此对zk的操作,有几种策略:

/**
     * 几种实现策略选择:
     * 1、先更新、出错在新增
     * 2、先新增、出错在更新
     * 3、先删除再新增
     * @param fullPath
     * @param value
     */
    public static void setValue(String fullPath,String value) {
        if(value == null){
            value = "";
    }
//        try {
//            client.setData().forPath(fullPath, value.getBytes());
//        } catch (KeeperException.NoNodeException exc) {
//            try {
//                client.create().creatingParentsIfNeeded().forPath(fullPath, value.getBytes());
//            } catch (Exception e) {
//                e.printStackTrace();
//            }
//        } catch (Exception e) {
//            e.printStackTrace();
//        }
        try {
            client.inTransaction().check().forPath(fullPath).and()
                    .setData().forPath(fullPath,value.getBytes()).and()
                    .commit();
        } catch (Exception e) {
            try {
                client.create().creatingParentsIfNeeded().forPath(fullPath, value.getBytes());
            } catch (Exception e1) {
                e1.printStackTrace();
            }
            e.printStackTrace();
        }
    }


© 著作权归作者所有

共有 人打赏支持
xixicat
粉丝 61
博文 201
码字总数 129524
作品 0
深圳
程序员
初探storm in Docker

背景 Storm是一个已经被业界广泛应用的流处理引擎,主要特点是实时性强,编程模型和接口简单,易于快速实现流处理功能。在目前的主流大数据平台软件栈中(如Hortonworks的HDP和Cloudera的CDH...

biggeng
2017/07/28
0
0
使用 ZK 框架的富 Internet 应用程序

简介: ZK 是一个用 Java™ 代码编写的开源 Asynchronous JavaScript + XML (Ajax) 框架,使用该框架,您无需编写 JavaScript 代码就可以编写一个支持 Web 2.0 的富 Internet 应用程序。Doj...

红薯
2010/04/09
4.2K
8
XXL-CONF v1.4.1 发布,分布式配置管理平台

版本新特性: 1、Ehcache 缓存对象 CacheNode 序列化优化; 2、XML 配置方式,Bean 初始化时配置加载逻辑优化; 3、升级多项依赖至较新版本:spring、spring-boot、jackson、freemarker、myb...

许雪里
04/12
0
0
zookeeper -- 第一章 zookeeper介绍

概述:作为一枚搬砖工人,只能不能的学习,稍微偷懒感觉就要被淘汰了,赶紧弥补下。下面开始啰嗦的理论知识阐述,虽然啰嗦但是对于后续理解还是很有必要。 1、Zookeeper介绍 Zookeeper是一个...

来来来来来
01/14
3
0
Zookeeper学习笔记-zookeeper介绍

一、什么是zookeeper? zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更加高级的服务,比如同步,配置管理,集群管理,命名...

binxin5108
2016/04/03
615
0

没有更多内容

加载失败,请刷新页面

加载更多

Hbase 概述及特点

1、Hbase概述 HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时,可以使用HBase。 尽管已经有许多数据存储和访问的策略和实现方法,但事实上...

PeakFang-BOK
26分钟前
0
0
TortoiseGit(乌龟git)保存用户名密码的方法

windows下比较比较好用的git客户端有2种: 1. msysgit + TortoiseGit(乌龟git) 2. GitHub for Windows github的windows版也用过一段时间,但还是不太习惯。所以目前仍然青睐与msysgit+乌龟g...

simpower
45分钟前
0
0
Java并发编程:volatile关键字解析

volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java 5之后,volatile关键字才得以重获生...

engeue
今天
2
0
通过ajax访问远程天气预报服务

http://www.webxml.com.cn/zh_cn/index.aspx 更改wsdl文件 打开文件将15行,51行,101行去掉 然后把文件复制到c盘 然后在桌面上面就生成了文件 将文件打成jar包 package cn.it.ws.weather;...

江戸川
今天
1
0
聊聊storm的tickTuple

序 本文主要研究一下storm的tickTuple 实例 TickWordCountBolt public class TickWordCountBolt extends BaseBasicBolt { private static final Logger LOGGER = LoggerFactory.getLogg......

go4it
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部