文档章节

谈数据切分后的一些解决思路

王尘宇
 王尘宇
发布于 2017/09/06 23:49
字数 1319
阅读 2
收藏 0
当我们在谈去IOE时候,一定会带来的一个问题就是单节点本身的计算或存储能力不足而导致的数据水平或垂直切分,那在数据切分后如何解决这些问题就成为一个好的DaaS层能否真正发挥作用的重点。 对于分布式事务的问题,前面已经谈了很多,对于一个DaaS下针对逻辑库(一个逻辑库下面存在多个物理库节点)是可以通过标准的XA两阶段提交协议来实现分布式事务的,但是本身不仅仅是可靠性的问题,更加关键的是性能问题,特别是在高并发下的性能问题。因此在应用实现的过程中还是需要尽量避免使用分布式事务,仅仅在需要使用分布式事务的少数特殊场景通过显性声明的方式使用分布式事务。对于能够采用事务最终一致性BASE的场景,尽量是结合消息中间件的能力,采用最终一致性的方式;对于不能接受最终一致性的场景尽量采用事务补偿的方式来弥补事务失败造成的影响。 在数据拆分有原有的一个单库多表关联查询操作,往往会转变为一个跨库的join查询操作,而现在的针对mysql的daas方案很难真正的支撑到这种类型的操作,即使能够支持估计也很难真正达到一个高性能。在我们原来的设想中这些问题都简单的转化为应用层去解决,这务必是增加了一个应用层开发的复杂度和难度。而针对这种情况最好的方法是构建一个统一的领域服务层来解决,即最终的上层或顶层是关注的领域服务能力,虽然跨库的问题在DaaS层很难解决,但是在领域服务层却比较容易定制开发相应的服务来解决。 举例来说,一个采购订单查询,采购订单头和明细信息在一个逻辑库,而对于物料和供应商主数据在另外一个物理库,但是对于应用来说关注的是一个完整的采购订单信息。因此完全是可以在领域服务层提供一个采购订单查询的服务,在服务内部进行多次的DaaS层服务调用和组装来完成内部的复杂性。这也是我们常说的,但进行数据库拆分后,务必需要引入更加强壮的领域服务层的原因。 在数据拆分后还有一个比较难以解决的问题,即是对于业务系统的大量查询分析和统计功能的处理,由于我们的数据库进行了切分,导致这些功能已经类似于传统BI里面的OLAP层的功能特性。对于这种业务场景和需求,往往并没有完全的实时性需求,我们能够满足准实时性就可以了。因此对于这类功能推荐的方法仍然是需要将当前的各个分库里面的数据整合到NewSql数据库里面进行处理(Hive,infobright,impala)等,这些数据库需要满足的特性就是MPP+Share nothing架构特性,在这种架构下可以看到对于海量数据的分析和统计可以保证业务需要的准实时性要求,唯一需要考虑的是当前很多的NewSQL数据库都是一个读库,很难进行CUD等各种操作,因此转化后需要解决的问题就是对于业务库中的增量数据如何实时的更新到NewSQL数据库里面,注意是增量更新而不是类似当前很多方案里面的全库重新导入和生成,这也是在解决查询统计功能的一个难点。 对于MySQL的读写分离集群我们看到,随着slave节点的增加,为了保证master和slave节点之间的一致性,将会出现明细的延迟,也直接影响到应用CUD操作的性能。对于这个问题,当前可以考虑的解决方案就是要拆分为两级的读写分离集群,对于第一级的读节点保证高一致性和性能,对于第二级允许有较大的延迟,仅仅用于查询分析等。 在最近的一年过程中,我们对基于Mysql的DaaS层产品逐步的改进和完善,包括分布式事务,DDL操作,函数和存储过程支持,多租户和资源隔离,子查询,底层多种数据库适配和支持等做了大量的改进和性能测试。已经基本形成一个可以在实际业务中应用的产品,同时该产品也开始应用到我们自研的ESB服务总线中。

© 著作权归作者所有

共有 人打赏支持
王尘宇
粉丝 1
博文 450
码字总数 469557
作品 0
西安
私信 提问
单KEY业务,数据库如何水平切分?

本文转载自公众号 架构师之路 作者:沈剑 58同城首席架构师 提醒,本文较长,可提前收藏/转发。 本文将以“用户中心”为例,介绍“单KEY”类业务,随着数据量的逐步增大,数据库性能显著降低...

bjweimengshu
2017/12/02
0
0
深入理解关系型数据库的数据水平切分和垂直切分

深入理解关系型数据库的数据水平切分和垂直切分 ghost丶桃子 2016-05-19 14:47:19 浏览3252 评论0 数据库数据切分水平切分垂直切分分表分库 摘要: 虽然在云计算时代,传统数据库存在着先天性...

morpheusWB
06/04
0
0
数据库Sharding的基本思想和切分策略

一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。不太严格的讲,对于海量数据的数据库,如果是因为表多而数据多...

不正经啊不正经
2014/12/25
0
0
分布式数据库架构--排序、分页、分组、实现

最近研究分布式数据库架构,发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。 一、 多分片(水平切分)返回结果合并(排序) 1、Select + None Aggregate Function的有序...

诺灬晓月
2014/09/18
0
0
数据库Sharding的基本思想和切分策略

本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略和参考事例请参考我的另一篇博文:数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 一、基本思想 Shar...

张升强
2013/10/22
0
1

没有更多内容

加载失败,请刷新页面

加载更多

mybatis批量操作sql配置

在写批量sql操作时,遇到执行报错: <foreach collection="list" item="item" index="index" separator=";"> update t_xxx set column1=#{item.column1} where id= #{item.id} </foreach> 分......

lar555
15分钟前
2
0
L2TP VPN客户端配置

打开网络设置-->选择VPN-->添加VPN链接 配置完毕,打开更改适配器选项 右键-->属性 选中安全---允许使用安全协议,确定保存后连接vpn即可

阿伦哥-
19分钟前
1
0
缘“熟”而起——《乡土中国》读书笔记3600字

缘“熟”而起——《乡土中国》读书笔记3600字: 发现电脑里藏了几篇本科大一大二写的读书笔记。回想当初阅读这些社会科学书籍的时候,自己尽力又时而深感难以读懂的心境仿佛重现。但如今细想...

原创小博客
21分钟前
0
0
SpringBoot与pageHelper版本问题

<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.6.RELEASE</version></parent> <dependency>......

WALK_MAN
26分钟前
3
0
PHP开发支付宝微信个人免签支付接口实例

这是一个PHP开发支付宝微信个人免签支付接口实例,支付宝微信即时到帐接口,使用原生支付宝即时到帐接口修改而来,即可实现多接口收款功能,开发只需要按照支付宝即时到帐接口开发即可,减少...

sucaihuo
31分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部