文档章节

技术架构演变中的必由之路-配置中心

打破突破
 打破突破
发布于 2017/06/03 08:36
字数 2338
阅读 153
收藏 1
点赞 0
评论 0

配置中心:将依赖于服务器环境的变量进行统一的管理,如:FTP账号密码、三方云服务的服务地址及相应的授权信息,以及部分公司内部平台的基本配置。

配置中心解决什么痛点:

1、将系统的基本配置与应用代码隔离,在一定程度上提高系统安全性、杜绝基础配置被误改的情况。

2、基础配置统一管理,便于维护,需要修改某一配置时不需要登录到应用集群中的每一台服务器上进行修改,只需要在配置中心的统一管理平台进行修改然后作推送操作(这需要看配置中心具体的实现)。

3、配置中心从某种角度上可以监控应用的运行状态(通过client端和server端的链接),虽然没有提供专业的监控服务。

配置中心的实现:

1、开源实现:github上有很多开源的配置中心的实现,阿里早期开源的diamond、百度的disconf、以及很多兴趣爱好者自研的配置中心,下面我给出一个由java实现的也是github上热度比较高的配置中心:https://github.com/melin/super-diamond,之前我们公司内部就是用它进行对配置的统一管理。当然github上还有很多其他比较实用热度也很高的配置中心解决方案、其中也有用python实现的。

下面就我们在使用super-diamond过程中遇到的一些问题进行梳理(抽出相对共性具有代表性的问题),以及我们是如何针对这些问题怎样对其进行改造、在改造过程中遇到的问题及应对之策,最后介绍我们当前架构设计存在的不足及下一步架构发展的方向。

存在问题:

(1)服务端的单点问题,高可用性不强。

(2)前端功能、界面不友好,对某一工程模块下某个key配置困难。

(3)自身协议,client与server之间需要双向通信(client可以pull,server可以push)等。

(4)服务端的数据安全问题,对client端进行白名单或者签名验证,保证工程配置不被外部环境窃取。

(5)在统一配置管理界面,对某一工程配置修改后,工程需要重启才能拉取新配置。

2、改造实现:

    2.1  对于前端功能界面不友好的问题,改造时新添加了针对工程、模块、配置项的基本搜索,以及对配置的批量修改功能、服务端配置推送功能(同步推送、异步补偿)、单server客户端实时监控等。下面给出两张样例图:

            

                                                            图1 配置界面

            

                                                           图2 client端监控界面

在图1界面中对各工程的配置进行统一的管理、配置,支持批量配置及按module的维护进行推送任务的创建、消费。图2中显示了某一台server对外client端连接的基本情况,同时也在第一列显示了推送任务的消费状态,便于观察任务消费情况。

2.2  针对服务端的单点问题,在架构设计上新添加了zk集群、HA来做前端的负载均衡工程、nginx代理。下面来看一张当前的系统架构图:

            

                                                           图3  架构图

       从上图中可以看出,server端和client端采用netty进行通信,netty是一个十分优秀的异步事件驱动的网络通信框架(Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.),目前很多rpc的框架都采用它来通信,比如:hadoop rpc的avro、阿里开源的服务治理中间件dubbo(服务消费者与提供者直连通信方式),如果读者对netty不熟悉或是没有接触使用过的话,建议参看netty官网netty.iohttp://blog.csdn.net/zxhoo/article/details/17264263上的系列文章,来进一步了解netty。客户端可以主动从server端拉取自己的工程配置(大部分的配置中心的设计为在应用启动时拉取,如果拉取不到或者client选择不覆盖则加载client端本地的配置文件),服务端也可以主动向与此连接的客户端推送配置(客户端也可自由选择是否接受服务端推送过来的配置)。client在连接一个server时,通过域名(不是ip)来连接,可以通过nginx来做一定的负载及容灾(当然也可以通过服务端的服务心跳检测来做)。client与server连接上后,client端会对这个channel进行心跳检测,当channel失效时,会重新与server端建立连接。

       zk在当前架构中需要担任的角色是客户端连接信息的存储和推送任务的存储,当客户端连接上某一台server时,会通过server向client进行注册,其目的也是为了推送任务的创建;当用户在配置管理界面对配置修改后,通过创建对工程模块下的配置推送任务,及任务的成功消费来实现将修改后的配置推送至client。zk的客户端选用的是curator,curator应该是目前最好的zk的客户端,与zkClient比优势很多,它里面提供了对zk节点(也可包括子节点)结构、信息变化的事件监听,事件的类型有创建、更新、删除等。当推送任务被创建时会获取到一条更新事件,然后根据该事件内容已经具体处理。

       下面我们考虑一种情况,当某台server端由于发版或者其他原因,突然重启或宕机时,原先与之连接的client channel将全部失效,虽然通过client端的心跳检测可以连接到另外的server上,但对于原先已经创建好但没有成功消费的推送任务怎么处理?我们的处理方式是建立了一个job对这些任务进行异步推送补偿。

       该架构上还有一个重点的点在图中的map上,map主要用来缓存应用内部与该server相连接的client信息,用于推送任务的消费,客户端的monitor是其次。

该架构存在的不足或者不完善的地方有很多,就拿服务组的高可用而言就不是业界rpc调用的首选解决方案,另外也存在单点、单数据节点的问题、对与某一server group所有建立连接的client信息的统一监控维护。下面对该架构进行改进设想,同时也将是下一步发展的方向。

            

                                                                图4 改进架构

新的架构中改进的地方有:

     (1)server的可用性通过向zk注册来实现(临时节点),client端在连接server或者当监听到server的节点失效时来再次维护本地server group缓存,实际连接时,直接从server group缓存中根据均衡算法获取一条server ip即可。

     (2)利用redis来进行server group全局的client信息的缓存,便于对client的全局监控及server group全局任务推送状态的监控维护。

      (3)数据库分库分表(可按照project的属性作为分库的key,这一点可能并不是所有公司都需要,只是一个架构设想,因为配置的数据与业务系统的数据比起来量少的太多),同时需要备库来对主库进行备份,提高可用性。

2.3  对与上述协议的问题,需要根据各公司或者团队的实际需求来调整,并没有一个统一的标准方案。

2.4  server group的配置数据安全问题也与2.3相似,实现方式还是需要根据各公司内部的习惯来做,可以通过白名单的方式、也可通过认证签名的方式、也可生产白名单其它环境认证签名,如果是确定完全走内网通信的话,非生产环境也可不做安全限制。

2.5  配置中心的配置修改后,client端需不需要重启应用来拉取新的配置完全依赖于client server的自身实现,可以不用重启,也可通过设置client端的配置来决定是否选择覆盖本地工程配置。

提醒一点:client端尽量不要对应用配置做缓存,不然就配置中心就失去了意义,当然这里可以通过监听配置中心推送过来的配置变化来刷新缓存,不过个人认为完全没有这样的必要。

最后抛个问题:

是否有必要实现在服务端更改配置后,将配置刷新到客户端所在环境的容器中去(注意是容器不是配置文件)?

 

© 著作权归作者所有

共有 人打赏支持
打破突破

打破突破

粉丝 24
博文 23
码字总数 27131
作品 0
杭州
高级程序员
软件定义数据中心(SDDC)的网络安全分析

软件定义数据中心(SDDC)的网络安全分析,软件定义数据中心(SDDC)的安全性可以通过多种形式来保障,身份和访问管理来对用户行为进行控制,操作系统安全性来保护虚拟服务器以及数据安全性,以...

数据中心 ⋅ 2017/12/04 ⋅ 0

【转】dubbo的使用场景

关于dubbo的使用场景,这个要从系统的演变开始将起,既然dubbo的使用很多是在电商系统中,那么就从电商系统的演变开始讲起。 一个简单的电商网站说起,它可能包含如下的几个模块和功能,如首...

枫叶摇曳 ⋅ 2017/07/31 ⋅ 1

【docker&spring cloud】微服务化改造

微服务化改造系列之一:总览 1 写在前面 背景 技术圈流行一句话,凡脱离业务谈架构的,都是耍流氓。作为微服务改造系列的第一篇博客,首先介绍一下实施这次技术改造的背景。 第一,我所在公司...

English0523 ⋅ 01/12 ⋅ 0

企业互联网应用架构的探索:共享服务

本次直播视频精彩回顾,戳这里! 本次分享主要分为以下几个方面: 1. 共享服务 2. 共享服务的建设 3. 共享服务的运营 一, 共享服务 1.   背景 首先介绍一些背景,企业原本的应用是企业...

斑马不睡觉 ⋅ 05/30 ⋅ 0

.Net 大型分布式基础服务架构横向演变概述

一. 业务背景 构建具备高可用,高扩展性,高性能,能承载高并发,大流量的分布式电子商务平台,支持用户,订单,采购,物流,配送,财务等多个项目的协作,便于后续运营报表,分析,便于运维...

车江毅 ⋅ 2016/02/26 ⋅ 10

谨赠20篇技术热文营造一个不一样的节日气氛!

一年一度的圣诞节又来临了。在这个越来越受到国人重视的节日中,每个人有每个人的浪漫方式,作为程序员、架构师和软件运维人员来说,也不例外。但是,我们表达节日快乐的方式与众不同,一切都...

btb5e6nsu1g511eg5xeg ⋅ 2017/12/25 ⋅ 0

敏捷和架构

为了理解敏捷和架构的关系,我们继续讨论第1部分曾经讨论的3个主要的方法:XP、Scrum和RUP。 1,极限编程:架构形成 XP是以程序员为中心的开发,其中没有一个核心实践明确讨论了软件架构,然而...

橘子红了呐 ⋅ 2017/11/14 ⋅ 0

dubbo源码分析系列——项目工程结构介绍

项目源码地址 本系列文章是基于当当网维护的dubbox版本进行分析的,源码地址参考:https://github.com/dangdangdotcom/dubbox 项目源码结构 我们下载源码后导入到ide中可以看到如此之多的项目...

杨武兵 ⋅ 2016/05/29 ⋅ 0

游戏运维的最佳实践:搜狐畅游自动化运维之旅!

搜狐黎志刚见证了畅游游戏自动化运维平台的从无到有,通过在其中踩过的坑、解过的结,他向大家来阐述游戏运维的进阶之路。本文主要围绕畅游游戏管理体系与运维自动化的演变历程、运维自动化的...

雪夜凋零 ⋅ 2017/07/25 ⋅ 0

AWS re: invent 2017

作为一个数据库从业人,总结一下这次需要关注的技术点,等待后续资料发出来,进一步钻研。 Amazon Time Sync Service aws免费提供了类似true time的跨数据中心方案,true time是spanner的核心...

徐文韬 ⋅ 2017/12/05 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

内核线程、轻量级进程、用户线程

线程与进程概念 在现代操作系统中,进程支持多线程。 进程是资源管理的最小单元; 线程是程序执行的最小单元。 即线程作为调度和分配的基本单位,进程作为资源分配的基本单位 一个进程的组成...

117 ⋅ 3分钟前 ⋅ 0

elasticsearch2.4.6升级为elasticsearch-5.5.0的经历

将elasticsearch-5.5.0 中的配置 path.data 指向原来的数据路径 即 path.data: /usr/local/src/elasticsearch-2.4.6/data 注意: elasticsearch-5.5.0 需要将jdk版本升级到1.8...

晨猫 ⋅ 3分钟前 ⋅ 0

lvm讲解 磁盘故障小案例

1

oschina130111 ⋅ 7分钟前 ⋅ 0

那些提升开发人员工作效率的在线工具

本文转载自公众号 Hollis 作为一个Java开发人员,经常要和各种各样的工具打交道,除了我们常用的IDE工具以外,其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。 Hollis偏爱使用...

时刻在奔跑 ⋅ 20分钟前 ⋅ 0

restful风格 实现DELETE PUT请求 的web.xml的配置

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.HttpStatus; import org.springframework.http.ResponseEntity; import org.springframe......

泉天下 ⋅ 25分钟前 ⋅ 0

Shell数组

Shell数组 Shell在编程方面比Windows批处理强大很多,无论是在循环、运算。 bash支持一维数组(不支持多维数组),并且没有限定数组的大小。类似与C语言,数组元素的下标由0开始编号。获取数...

蜗牛奔跑 ⋅ 35分钟前 ⋅ 0

nmap为了开发方便 可以做简单的修改

因为nmap扫描是默认使用的是nse脚本,但是在开发的过程中需要修改后缀(主要是因为后缀为lua才能显示高亮,所以这里用一个取巧的办法) nse_main.lua文件中我们找到如下代码 local t, path = cn...

超级大黑猫 ⋅ 39分钟前 ⋅ 0

springmvc获取axios数据为null情况

场景:前端用了vue没有用ajax与后台通信,用了axios,但是在代码运行过程中发现axios传递到后台的值接受到数据为null。 问题原因:此处的问题在与axios返回给后台的数据为json类型的,后台接...

王子城 ⋅ 41分钟前 ⋅ 0

hadoop技术入门学习之发行版选择

经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易。看到这样的答案不免觉得有些尴尬,这个问题算是白问了,因为这个...

左手的倒影 ⋅ 41分钟前 ⋅ 0

806. Number of Lines To Write String - LeetCode

Question 806. Number of Lines To Write String Solution 思路:注意一点,如果a长度为4,当前行已经用了98个单元,要另起一行。 Java实现: public int[] numberOfLines(int[] widths, Str...

yysue ⋅ 48分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部