文档章节

基于zk的配置管理

小楼听雨中
 小楼听雨中
发布于 2015/02/17 09:02
字数 885
阅读 143
收藏 1

一、使用netflix的ZooKeeperConfigurationSource

(1)参考文档

https://github.com/Netflix/archaius/wiki/ZooKeeper-Dynamic-Configuration

 

(2)添加依赖

<dependency>
            <groupId>com.netflix.archaius</groupId>
            <artifactId>archaius-core</artifactId>
            <version>0.6.5</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.curator</groupId>
                    <artifactId>curator-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.netflix.archaius</groupId>
            <artifactId>archaius-zookeeper</artifactId>
            <version>0.6.5</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.curator</groupId>
                    <artifactId>curator-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

 

如果之前pom文件已经引入了curator-client,则需要在引入archaius时exclude下

 

(3)代码

@Before
    public void before() throws Exception {
        String zkConfigRootPath = "/cfg";
        CuratorFramework client = ZkClientUtil.getClient();
        ZooKeeperConfigurationSource zkConfigSource = new ZooKeeperConfigurationSource(client, zkConfigRootPath);
        zkConfigSource.start();
        DynamicWatchedConfiguration zkDynamicConfig = new DynamicWatchedConfiguration(zkConfigSource);
        ConfigurationManager.install(zkDynamicConfig);
    }

    /**
     * 仅仅是在本地内存中更新
     * 即ConcurrentMapConfiguration中的map更新
     * 不会更新到zk
     */
    @Test
    public void locatSet(){
        String key = "com.fluxcapacitor.my.property";
        System.out.println("before set zk config");
        ConfigurationManager.getConfigInstance().setProperty(key,"123");
        System.out.println("after set zk config");
        String myProperty = DynamicPropertyFactory.getInstance()
                .getStringProperty(key, "<none>")
                .get();
        Assert.assertEquals(myProperty,"123");
    }

 

二、自定义的zkconfig

(1)ZooKeeperConfigurationSource的局限

     它是在start的时候,去注册节点的监听事件,默认采用的是pathChildrenCache只能监听子节点的变化事件,如果需要监听整个树的话,则需要TreeCache。

     它是在new DynamicWatchedConfiguration的时候去读取zk的所有数据的。

public DynamicWatchedConfiguration(WatchedConfigurationSource source, boolean ignoreDeletesFromSource,
            DynamicPropertyUpdater updater) {
        this.source = source;
        this.ignoreDeletesFromSource = ignoreDeletesFromSource;
        this.updater = updater;

        // get a current snapshot of the config source data
        try {
            Map<String, Object> currentData = source.getCurrentData();
            WatchedUpdateResult result = WatchedUpdateResult.createFull(currentData);

            updateConfiguration(result);
        } catch (final Exception exc) {
            logger.error("could not getCurrentData() from the WatchedConfigurationSource", exc);
        }

        // add a listener for subsequent config updates
        this.source.addUpdateListener(this);
    }

 

      内存数据存储在ConcurrentMapConfiguration中的map中,对于set方法,只是作用于此map,并不会对远程zk进行set操作

 

(2)zk默认的最终一致性

      zk默认采用的是最终一致性的,即对于一个更新操作,leader在获得超半数follower的支持后,返回更新。这里有两个问题容易导致一致性问题:

A、如果应用程序是通过本地内存读取的数据,则由于zk的事件通知延迟,可能读到脏数据

B、如果应用程序是通过远程读取zk的数据,则由于zk leader同步数据到follower的延迟,可能连接到的follower尚未更新,读到脏数据

 

(3)zk读取最新数据

      如果要读取最新数据,则需要采取上边提到的B方法,但是在该方法之前先,调用下zk的client方法,跟leader同步数据,只要是在sync之前更新的数据,sync之后,读到的是最新的。但是会有性能消耗问题:

 /**
     * 强一致性的读取方法
     * 不从本地内存缓存读取
     * 也不从zk的follower读取
     * 通过sync从zk的leader读取
     * @param key
     * @param defaultValue
     * @return
     */
    private Object getRawPropertySync(String key,Object defaultValue){
        String fullPath = ZkClientUtil.getFullPath(rootPath,key);
        ZkClientUtil.sync(fullPath);
        Object value = ZkClientUtil.getValue(fullPath);
        if(value != null){
            return  value;
        }
        //if read from zk is null,return defaultValue
        return defaultValue;
    }

 

(4)根据大部分场景的折中方案

       大部分场景是读多写少,对于新增配置的操作,从本地内存读取,读取不到,则从zk去读取,这样能最大限度地保证读到最新数据;对于更新操作,始终都是更新到zk,然后本地内存等待zk事件通知,才更新本地数据。

       由于配置通常不区分add操作还是update操作,因此对zk的操作,有几种策略:

/**
     * 几种实现策略选择:
     * 1、先更新、出错在新增
     * 2、先新增、出错在更新
     * 3、先删除再新增
     * @param fullPath
     * @param value
     */
    public static void setValue(String fullPath,String value) {
        if(value == null){
            value = "";
    }
//        try {
//            client.setData().forPath(fullPath, value.getBytes());
//        } catch (KeeperException.NoNodeException exc) {
//            try {
//                client.create().creatingParentsIfNeeded().forPath(fullPath, value.getBytes());
//            } catch (Exception e) {
//                e.printStackTrace();
//            }
//        } catch (Exception e) {
//            e.printStackTrace();
//        }
        try {
            client.inTransaction().check().forPath(fullPath).and()
                    .setData().forPath(fullPath,value.getBytes()).and()
                    .commit();
        } catch (Exception e) {
            try {
                client.create().creatingParentsIfNeeded().forPath(fullPath, value.getBytes());
            } catch (Exception e1) {
                e1.printStackTrace();
            }
            e.printStackTrace();
        }
    }


© 著作权归作者所有

共有 人打赏支持
小楼听雨中
粉丝 61
博文 201
码字总数 129524
作品 0
海淀
程序员
私信 提问
初探storm in Docker

背景 Storm是一个已经被业界广泛应用的流处理引擎,主要特点是实时性强,编程模型和接口简单,易于快速实现流处理功能。在目前的主流大数据平台软件栈中(如Hortonworks的HDP和Cloudera的CDH...

biggeng
2017/07/28
0
0
XXL-CONF v1.4.0 发布,分布式配置管理平台

版本 v1.4.0 新特性 1、支持通过 "@XxlConf" 注解获取配置; 2、动态推送更新:目前支持 "XML、 @XxlConf、API" 三种配置方式,均支持配置动态刷新; 3、配置变更监听功能:可开发Listener逻...

许雪里
2018/03/02
1K
11
XXL-CONF v1.4.1 发布,分布式配置管理平台

版本新特性: 1、Ehcache 缓存对象 CacheNode 序列化优化; 2、XML 配置方式,Bean 初始化时配置加载逻辑优化; 3、升级多项依赖至较新版本:spring、spring-boot、jackson、freemarker、myb...

许雪里
2018/04/12
814
14
使用 ZK 框架的富 Internet 应用程序

简介: ZK 是一个用 Java™ 代码编写的开源 Asynchronous JavaScript + XML (Ajax) 框架,使用该框架,您无需编写 JavaScript 代码就可以编写一个支持 Web 2.0 的富 Internet 应用程序。Doj...

红薯
2010/04/09
4.4K
8
分布式配置管理平台 - xxl-conf

分布式配置管理平台XXL-CONF XXL-CONF 是一个分布式配置管理平台,拥有"毫秒级动态推送、多环境、多语言、配置监听、权限控制、版本版本回滚"等特性。现已开放源代码,开箱即用。 特性 1、简...

许雪里
2015/11/29
0
1

没有更多内容

加载失败,请刷新页面

加载更多

IntelliJ IDEA创建第一个Spring boot项目

下载maven:http://maven.apache.org/download.cgi 开发工具:IntelliJ IDEA JDK: Java JDK1.8 ## 1.为了第一个项目初始化速度加快,我们先来配置maven: 添加配置: 选择Build,Execution,Dep...

凌宇之蓝
28分钟前
0
0
Coding and Paper Letter(四十五)

资源整理。 1 Coding: 1.Python库gempy,一种基于Python的开源三维结构地质建模软件,它允许从界面和方向数据隐式(即自动)创建复杂的地质模型。 它还支持随机建模以解决参数和模型的不确定...

胖胖雕
52分钟前
1
0
golang 声明一个指定长度的数组,用于后续添加

很多时候我们需要声明一个指定长度的数组,用于后续添加.在使用go的时候要注意,下面的第一个例子会有报错 "non-constant array bound",应该使用第二个例子. Length 是动态的值 有报错的例子 ...

漫步海边小路
55分钟前
0
0
Java NIO示例

Server端 /** * 《构建高性能的大型分布式Java应用》 * 书中的示例代码 * 版权所有 2008---2009 */package book.chapter1.tcpnio;import java.net.InetSocketAddress;i...

月下狼
今天
0
0
发布xxl-job executor dotnet core 执行器的实现

DotXxlJob [github][https://github.com/xuanye/DotXxlJob] xxl-job的dotnet core 执行器实现,支持XXL-JOB 2.0+ 1 XXL-JOB概述 [XXL-JOB][1]是一个轻量级分布式任务调度平台,其核心设计目标...

假正经哥哥
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部