文档章节

分布式系统架构的基本原则和实践概述

Corlang
 Corlang
发布于 2016/04/08 09:11
字数 2603
阅读 192
收藏 13

一、分布式系统遵循几个基本原则

1. CAP原理

CAP Theorem,CAP原理中,有三个要素:

  • 一致性(Consistency)
  • 可用性(Availability)
  • 分区容忍性(Partition tolerance)

CAP原理指的是,在分布式系统中这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是基本要求,否则就失去了价值。因此设计分布式数据系统,就是在一致性和可用性之间取一个平衡。对于大多数web应用,其实并不需要强一致性,因此牺牲一致性而换取高可用性,是目前多数分布式数据库产品的方向。

从客户端角度,多进程并发访问时,更新过的数据在不同进程如何获取的不同策略,决定了不同的一致性。对于关系型数据库,要求更新过的数据能被后续的访问都能看到,这是强一致性。如果能容忍后续的部分或者全部访问不到,则是弱一致性。如果经过一段时间后要求能访问到更新后的数据,则是最终一致性。 但web应用也有例外,比如支付宝系统,就要求数据(银行账户)的强一致性,而且面对大量淘宝用户,可用性要求很高,因此只能牺牲数据的分区冗余。这一点也曾在和支付宝工程师交流时,得到验证。

2. C10K问题

分布式系统另一个理论是C10K问题,即系统的并发用户增加1万(customer ten thousand,过去一台服务器承载假设为1万用户,现在平均3~5万),是否意味着增加一台机器就能解决问题?答案通常是否定 因为这涉及到系统的应用架构问题----串行系统和并行系统的架构和性能提升的关系: 串行系统一般设备越多,性能成一条向下弯曲的曲线,最差情况,可能性能不增反降;而并行分布式系统设备越多,性能是正比例线性增长的直线

1

3. 串行系统和并行系统的可靠性问题

一个大系统一般都有超过 30 个环节(串行):如果每个环节都做到 99% 的准确率,最终系统的准确率是 74%; 如果每个环节都做到98%的准确率,最终系统的准确率 54%。一个 74% 的系统是可用的(有商业价值的),一个 54% 的系统仅比随机稍好一点,不可用。这就是做大系统的魅力和挑战! 而以上描述只是各模块串行系统所遇到的问题

如果是并行系统,准确率=1-(1-A)^B ,其中A是单个模块准确率,B是并行模块个数 如系统中每个模块的准确率是70%,那么3个模块并行,整体准确率=1-0.3^3=97.3%,如果是4个并行,准确率=1-0.3^4=99.19%,我在想这就是负载均衡靠谱的数学原理 5个9或6个9的QoS一定是指数思维的结果,线性思维等于送死

而对系统单一模块优化,准确性和可用性提升一个百分点,越接近100%,难度越大,投入成本越不可控(系统熵永不为零) 因此可靠性系统必然选择并行分布式作为架构的基本方法。

从数据的存储角度,多份冗余也是可靠性保障的一个方法。分布式存储的冗余备份常规是3份(aws就这么干的),古埃及的罗塞塔rosetta石碑用古埃及象形文字、埃及拼音和古希腊文三种文字记录一段历史,就算象形文字缺了一部分,没人能看懂,也能破译补全,这大概也是raid5的思想起源吧

2

二、分布式系统架构的实践概述

1. 分布式存储架构

** 分布式存储架构现阶段有3种模式 **

1.1 物理存储采用集中式,存储节点采用多实例的方式

例如NFS挂载SAN、NAS

3

1.2 带有中央控制器的分布式存储

luster、moosefs、googlefs、TFS(taobao FS)

分布式存储一般特征是具备2个角色metadata server和storage node,将文件的元数据(描述数据的数据,如文件位置、大小等等)和数据块文件分开存储 其中metadata server除保存文件的元数据外,还维护存储节点的ip、状态等信息。

luster架构

  • MDS--meatadata server
  • MDT--metadata target
  • OSS--obj storage server
  • OST--obj starage target 其中MDT和OST是可以挂在NAS等中央存储上的;可见,luster借鉴了上面中央存储的模式,无论元数据服务还是节点服务都将服务实例和存储分离,但进化了一步,将元数据和数据块分离

luster系统很好解决了数据分布式存储,,在超级计算领域Lustre应用广泛,如美国LLNL国家实验室计算机系统、我国的天河超级计算机系统均采用Lustre搭建分布式存储系统。Lustre在全球排名前30个超级计算机系统中有15个在使用。

但有一个问题,就是metadata server的SPoF(single point of failure)问题,即单点故障;一旦metadata server挂了,整个集群也就挂了。实际应用中,是有解决方案的,如dell的官网有个pdf,就是采用heart beat和drbd网络raid的方式,启动2个实例,再如和keepalived一起组成故障转移的方案等等,可以自己试试 4

moosefs架构

moosefs架构和luster很相似,但进化了一步,mater(也就是metadata server)可以有从机备份了,而且可以多个 而且服务实例和存储放在一起,没有像luster,自此服务和数据不离不弃了;其实luster也可以简化成不离不弃模式,moosefs也可以学他搞个后端存储,但随着云计算、追求低成本的趋势,采用SAN这样存储设备就太贵了 5

1.3 去中心化、全对称的架构(non-center or symmetric)

其设计思想是采用一致性哈希consistent hash算法(DHT的一种实现,关于一致性hash具体参考后面的链接)来定位文件在存储节点中的位置,从而取消了metadata server的角色

6

整个系统只有storage node一个角色,不区分元数据和数据块; 典型系统如sheepdog,但sheepdog是为满足kvm镜像和类EBS块存储而设计的,不是常规的分布式文件系统,架构如下 7

为了维护存储节点的信息,一般采用P2P技术的totem single ring算法(corosync是一种实现)来维护和更新node路由信息 对称架构有一个问题,采用totem single ring算法的存储节点数量有限,因为node数量超过1000,集群内的通信风暴就会产生(此处更正,应该是环太大,令牌传递效率下降,不会产生通信风暴),效率下降,sheepdog提出了一个解决方案,就是在一致性hash环上做嵌套处理,如图 8

1.4 半对称结构

其实介于1.2metadata server中央控制和1.3全对称的架构之间还有一种,就是把metadata也做成对称结构,我们可以称半对称结构,典型应用如fastdfs,淘宝一大牛fishman写的,主要用作图片存储,可以实现排重存储 看图,tracker cluster就是metadata server的角色,实现了对称架构设计 国内几个大的网站都使用了fastdfs,在实际使用中,发现storage server之间同步数据较慢,一直没仔细研究 10

2. 分布式数据库架构

分布式数据库一般都基于分布式文件系统实现数据的分片sharding,每中数据库都有自己的应用特性,就不做介绍,列出几个典型的应用,供参考 Google的big table,实现数据的追加存储append,顺序写入快速,不适合随机读的场景 hadoop的HBase mongodb hypertable 2010年以前,百度在用,今年infoq的中国qcon,百度的杨栋也讲了百度用hypertable的血泪史

###3. 分布式应用架构 分布式应用架构涉及具体应用场景,设计上除考虑上面的CAP和C10K等等经典分布式理论,还应根据业务进行权衡。 基本的思路是

3.1 在做完需求和模块设计后,要对各模块进行解藕Decoupling

传统的企业应用设计一般是一条操作从头跑到尾(串行系统),拿视频网站的流程距离,传统应用设计是先上传是视频,然后存储,编码,最后发布一条龙 如下图 11

3.2 先将各模块解藕,通过异步消息通知的方式将各模块链接

12

3.3 要考虑这个应用的压力承载点在哪,根据用户规模估算各模块的并行数量

(如本例中的encode压力大,就增加encode模块的并行系统数量),如下图 13

以上是分布式系统构建的基本原则和实践步骤,在实际应用中,仍有很多细节要考虑。但有一点要再强调,就是要根据业务来选择各层、各模块的技术,做好业务适用、成本和难度之间的权衡。

技术本无好坏,在于适当的使用和积累。

参考:

本文转载自:http://blog.sina.com.cn/s/blog_5459f60d01016ntb.html

Corlang
粉丝 6
博文 35
码字总数 6634
作品 0
南京
程序员
私信 提问
百度云技术沙龙——AI技术实践与应用专场

会议介绍 在ABC智能云时代,BigData和AI技术能力和应用能力成为企业发展的核心竞争力,同时随着应用场景的快速铺开,给BigData\AI的技术发展也带来了巨大的机会和挑战! 百度云基于百度内部长...

qwerttaa
2017/07/18
40
1
百度云技术沙龙——AI技术实践与应用专场

会议介绍 在ABC智能云时代,BigData和AI技术能力和应用能力成为企业发展的核心竞争力,同时随着应用场景的快速铺开,给BigData\AI的技术发展也带来了巨大的机会和挑战! 百度云基于百度内部长...

qwerttaa
2017/07/18
884
1
程序员转型架构师,推荐你读这几本书

从CRUD的程序员,到系统的架构师,进阶推荐读这几本书。架构师书单分为两部分,第一部分是关于系统架构的方法论,包括领域驱动设计,微服务,整洁架构,第二部分介绍各大互联网大公司是如何做...

邴越
10/17
0
0
spring cloud - 概述

什么是微服务? 微服务没有一个标准统一的概念,个人理解为:微服务是一种可以让软件职责单一、松耦合、自包含、可以独立运行和部署的架构思想。 关键思想就是:拆分、单一、独立、组件化。把...

明理萝
2018/09/12
10
1
【J+】10月移动互联网沙龙--电商后台调度实战与虚拟现实系统探索

J+ 移动互联网技术沙龙又开始了! 每月的最后一个周末。 这次我们更换了场地(高新区奥盛大厦)和时间(周六下午),伙伴们别看错了哦~ 网购已成为生活方式,作为技术人对电商技术一定是很感...

郑传义
2015/10/15
14
0

没有更多内容

加载失败,请刷新页面

加载更多

灰度控制,比较两个版本

/** * 比较version1和version2的版本大小 * @param version1 * @param version2 * @param splitStr * @return * 返回version1-比较结果-version2 */public static CompareRe...

春哥大魔王的博客
13分钟前
3
0
JAVA CAS单点登录之一:搭建CAS服务器

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://dba10g.blog.51cto.com/764602/1753086 前言 这一段时间,心血来潮研究了...

彬彬公子
14分钟前
4
0
Jsoup analysis THML

Jsoup是一款HTML解析器,通过它可以解析获取到URL、HTML等中的某些内容, 它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 依赖: org.jsoup jsou...

东方神祇
14分钟前
4
0
Spring Boot 2 实战:根据条件来自动配置不同逻辑的Bean

1. 前言 我们经常会有根据条件来加载不同的接口。比如你查询目录下文件列表, Windows 下你会用 CMD 的 dir 命令,而 Linux 下你会使用 ls 命令。 熟悉 Spring Boot 自动配置的也知道 Spring...

码农小胖哥
17分钟前
4
0
PCB设计-Allegro软件入门系列-焊盘的构成和用途(1)

Allegro软件入门最难的就是焊盘制作,而一个贴片焊盘都至少包括一个顶层如Top、钢网层pastemask_top、阻焊层(也就是人们常说的开窗层)sodermask_top,而一个插件焊盘就比贴片多了一个中间层和...

demyar
22分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部