文档章节

谈数据切分后的一些解决思路

王尘宇
 王尘宇
发布于 2017/09/06 23:49
字数 1319
阅读 2
收藏 0
当我们在谈去IOE时候,一定会带来的一个问题就是单节点本身的计算或存储能力不足而导致的数据水平或垂直切分,那在数据切分后如何解决这些问题就成为一个好的DaaS层能否真正发挥作用的重点。 对于分布式事务的问题,前面已经谈了很多,对于一个DaaS下针对逻辑库(一个逻辑库下面存在多个物理库节点)是可以通过标准的XA两阶段提交协议来实现分布式事务的,但是本身不仅仅是可靠性的问题,更加关键的是性能问题,特别是在高并发下的性能问题。因此在应用实现的过程中还是需要尽量避免使用分布式事务,仅仅在需要使用分布式事务的少数特殊场景通过显性声明的方式使用分布式事务。对于能够采用事务最终一致性BASE的场景,尽量是结合消息中间件的能力,采用最终一致性的方式;对于不能接受最终一致性的场景尽量采用事务补偿的方式来弥补事务失败造成的影响。 在数据拆分有原有的一个单库多表关联查询操作,往往会转变为一个跨库的join查询操作,而现在的针对mysql的daas方案很难真正的支撑到这种类型的操作,即使能够支持估计也很难真正达到一个高性能。在我们原来的设想中这些问题都简单的转化为应用层去解决,这务必是增加了一个应用层开发的复杂度和难度。而针对这种情况最好的方法是构建一个统一的领域服务层来解决,即最终的上层或顶层是关注的领域服务能力,虽然跨库的问题在DaaS层很难解决,但是在领域服务层却比较容易定制开发相应的服务来解决。 举例来说,一个采购订单查询,采购订单头和明细信息在一个逻辑库,而对于物料和供应商主数据在另外一个物理库,但是对于应用来说关注的是一个完整的采购订单信息。因此完全是可以在领域服务层提供一个采购订单查询的服务,在服务内部进行多次的DaaS层服务调用和组装来完成内部的复杂性。这也是我们常说的,但进行数据库拆分后,务必需要引入更加强壮的领域服务层的原因。 在数据拆分后还有一个比较难以解决的问题,即是对于业务系统的大量查询分析和统计功能的处理,由于我们的数据库进行了切分,导致这些功能已经类似于传统BI里面的OLAP层的功能特性。对于这种业务场景和需求,往往并没有完全的实时性需求,我们能够满足准实时性就可以了。因此对于这类功能推荐的方法仍然是需要将当前的各个分库里面的数据整合到NewSql数据库里面进行处理(Hive,infobright,impala)等,这些数据库需要满足的特性就是MPP+Share nothing架构特性,在这种架构下可以看到对于海量数据的分析和统计可以保证业务需要的准实时性要求,唯一需要考虑的是当前很多的NewSQL数据库都是一个读库,很难进行CUD等各种操作,因此转化后需要解决的问题就是对于业务库中的增量数据如何实时的更新到NewSQL数据库里面,注意是增量更新而不是类似当前很多方案里面的全库重新导入和生成,这也是在解决查询统计功能的一个难点。 对于MySQL的读写分离集群我们看到,随着slave节点的增加,为了保证master和slave节点之间的一致性,将会出现明细的延迟,也直接影响到应用CUD操作的性能。对于这个问题,当前可以考虑的解决方案就是要拆分为两级的读写分离集群,对于第一级的读节点保证高一致性和性能,对于第二级允许有较大的延迟,仅仅用于查询分析等。 在最近的一年过程中,我们对基于Mysql的DaaS层产品逐步的改进和完善,包括分布式事务,DDL操作,函数和存储过程支持,多租户和资源隔离,子查询,底层多种数据库适配和支持等做了大量的改进和性能测试。已经基本形成一个可以在实际业务中应用的产品,同时该产品也开始应用到我们自研的ESB服务总线中。

© 著作权归作者所有

共有 人打赏支持
王尘宇
粉丝 1
博文 450
码字总数 469557
作品 0
西安
深入理解关系型数据库的数据水平切分和垂直切分

深入理解关系型数据库的数据水平切分和垂直切分 ghost丶桃子 2016-05-19 14:47:19 浏览3252 评论0 数据库数据切分水平切分垂直切分分表分库 摘要: 虽然在云计算时代,传统数据库存在着先天性...

morpheusWB
06/04
0
0
单KEY业务,数据库如何水平切分?

本文转载自公众号 架构师之路 作者:沈剑 58同城首席架构师 提醒,本文较长,可提前收藏/转发。 本文将以“用户中心”为例,介绍“单KEY”类业务,随着数据量的逐步增大,数据库性能显著降低...

bjweimengshu
2017/12/02
0
0
分布式数据库架构--排序、分页、分组、实现

最近研究分布式数据库架构,发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。 一、 多分片(水平切分)返回结果合并(排序) 1、Select + None Aggregate Function的有序...

诺灬晓月
2014/09/18
0
0
数据库Sharding的基本思想和切分策略

一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。不太严格的讲,对于海量数据的数据库,如果是因为表多而数据多...

不正经啊不正经
2014/12/25
0
0
数据库Sharding的基本思想和切分策略

本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文:数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 一、基本思想 Shar...

bluishglc
2011/01/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

20180925 df与du命令、fdisk磁盘分区

df 命令 disk filesystem的缩写,查看已挂载磁盘的总容量、使用容量、剩余容量信息。 [root@centos01 ~]# dfFilesystem 1K-blocks Used Available Use% Mounted on/dev/sda3 27...

野雪球
43分钟前
1
0
Shell编程(expect同步文件、指定host和同步文件、构建文件分发系统、批量执行命令)

expect脚本同步文件 需求:自动同步文件 实验准备: A机器:192.168.248.130 B机器:192.168.248.129 实现: 1.A机器编写4.expect脚本文件,内容如下所示: #!/usr/bin/expectset passwd "...

蛋黄_Yolks
今天
2
0
ppwjs之bootstrap颜色:背景颜色

<!DOCTYPT html><html><head><meta http-equiv="content-type" content="text/html; charset=utf-8" /><title>ppwjs欢迎您</title><link rel="icon" href="/favicon.ico" ......

ppwjs
今天
1
0
Ubuntu与 Fedora之对比

大家好。今天我将重点介绍两个流行的Linux发行版之间的一些特性和差异; Ubuntu 18.04和Fedora 28。它们都有自己的包管理; Ubuntu使用DEB,而Fedora使用RPM,但它们都具有相同的桌面环境(GNO...

linuxprobe16
今天
2
0
线性代数入门

线性代数的概念对于理解机器学习背后的原理非常重要,尤其是在深度学习领域中。它可以帮助我们更好地理解算法内部到底是怎么运行的,借此,我们就能够更好的做出决策。所以,如果你真的希望了...

牛奋Debug
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部