文档章节

细聊冗余表数据一致性

snowing1990
 snowing1990
发布于 2016/03/01 22:17
字数 2154
阅读 10
收藏 1
点赞 1
评论 0

一、需求缘起

互联网很多业务场景的数据量很大,此时数据库架构要进行水平切分,水平切分会有一个patition key通过patition key的查询能够直接定位到库,但是非patition key上的查询可能就需要扫描多个库了。

例如订单表,业务上对用户和商家都有订单查询需求:

Order(oid, info_detail)

T(buyer_id, seller_id, oid)

如果用buyer_id来分库,seller_id的查询就需要扫描多库。

如果用seller_id来分库,buyer_id的查询就需要扫描多库。

 

这类需求,为了做到高吞吐量低延时的查询,往往使用“数据冗余”的方式来实现,就是文章标题里说的“冗余表”

T1(buyer_id, seller_id, oid)

T2(seller_id, buyer_id, oid)

同一个数据,冗余两份,一份以buyer_id来分库,满足买家的查询需求;

一份以seller_id来分库,满足卖家的查询需求。

 

二、冗余表的实现方案

【方法一:服务同步写


顾名思义,由服务层同步写冗余数据,如上图1-4流程:

1)业务方调用服务,新增数据

2)服务先插入T1数据

3)服务再插入T2数据

4)服务返回业务方新增数据成功

优点

1)不复杂,服务层由单次写,变两次写

2)数据一致性相对较高(因为双写成功才返回)

缺点

1)请求的处理时间增加(要插入次,时间加倍)

2)数据仍可能不一致,例如第二步写入T1完成后服务重启,则数据不会写入T2

 

如果系统对处理时间比较敏感,引出常用的第二种方案

【方法二:服务异步写


数据的双写并不再由服务来完成,服务层异步发出一个消息,通过消息总线发送给一个专门的数据复制服务来写入冗余数据,如上图1-6流程:

1业务方调用服务,新增数据

2服务先插入T1数据

3)服务向消息总线发送一个异步消息(发出即可,不用等返回,通常很快就能完成)

4)服务返回业务方新增数据成功

5)消息总线将消息投递给数据同步中心

6)数据同步中心插入T2数据

优点

1)请求处理时间短(只插入1次)

缺点

1)系统的复杂性增加了,多引入了一个组件(消息总线)和一个服务(专用的数据复制服务)

2)因为返回业务线数据插入成功时,数据还不一定插入到T2中,因此数据有一个不一致时间窗口(这个窗口很短,最终是一致的)

3)在消息总线丢失消息时,冗余表数据会不一致

 

如果想解除“数据冗余”对系统的耦合,引出常用的第三种方案

【方法三:线下异步写


数据的双写不再由服务层来完成,而是由线下的一个服务或者任务来完成,如上图1-6流程:

1业务方调用服务,新增数据

2服务先插入T1数据

3)服务返回业务方新增数据成功

4)数据会被写入到数据库的log

5)线下服务或者任务读取数据库的log

6)线下服务或者任务插入T2数据

优点

1)数据双写与业务完全解耦

2请求处理时间短(只插入1次)

缺点

1)返回业务线数据插入成功时,数据还不一定插入到T2中,因此数据有一个不一致时间窗口(这个窗口很短,最终是一致的)

2)数据的一致性依赖于线下服务或者任务的可靠性

 

上述三种方案各有优缺点,但不管哪种方案,都会面临“究竟先写T1还是先写T2”的问题?这该怎么办呢?

 

三、究竟先写正表还是反表

对于一个不能保证事务性的操作,一定涉及“哪个任务先做,哪个任务后做”的问题,解决这个问题的方向是:

【如果出现不一致】,谁先做对业务的影响较小,就谁先执行。

 

以上文的订单生成业务为例,buyerseller冗余表都需要插入数据:

T1(buyer_id, seller_id, oid)

T2(seller_id, buyer_id, oid)

用户下单时,如果“先插入buyerT1,再插入seller冗余表T2”,当第一步成功、第二步失败时,出现的业务影响是“买家能看到自己的订单,卖家看不到推送的订单”

相反,如果“先插入sellerT2,再插入buyer冗余表T1”,当第一步成功、第二步失败时,出现的业务影响是“卖家能看到推送的订单,卖家看不到自己的订单”

由于这个生成订单的动作是买家发起的,买家如果看不到订单,会觉得非常奇怪,并且无法支付以推动订单状态的流转,此时即使卖家看到有人下单也是没有意义的。

因此,在此例中,应该先插入buyerT1,再插入sellerT2

 

however,记住结论:如果出现不一致】,谁先做对业务的影响较小,就谁先执行。

 

四、如何保证数据的一致性

从二节和第三节的讨论可以看到,不管哪种方案,因为两步操作不能保证原子性,总有出现数据不一致的可能,那如何解决呢?

【方法一:线下扫面正反冗余表全部数据】


如上图所示,线下启动一个离线的扫描工具,不停的比对正表T1和反表T2,如果发现数据不一致,就进行补偿修复

优点

1)比较简单,开发代价小

2)线上服务无需修改,修复工具与线上服务解耦

缺点

1)扫描效率低,会扫描大量的“已经能够保证一致”的数据

2)由于扫描的数据量大,扫描一轮的时间比较长,即数据如果不一致,不一致的时间窗口比较长

 

有没有只扫描“可能存在不一致可能性”的数据,而不是每次扫描全部数据,以提高效率的优化方法呢?

【方法二:线下扫描增量数据】


每次只扫描增量的日志数据,就能够极大提高效率,缩短数据不一致的时间窗口,如上图1-4流程所示:

1)写入正表T1

2)第一步成功后,写入日志log1

3)写入反表T2

4)第二步成功后,写入日志log2

当然,我们还是需要一个离线的扫描工具,不停的比对日志log1和日志log2,如果发现数据不一致,就进行补偿修复

优点

1)虽比方法一复杂,但仍然是比较简单的

2)数据扫描效率高,只扫描增量数据

缺点

1)线上服务略有修改(代价不高,多写了2条日志)

2)虽然比方法一更实时,但时效性还是不高,不一致窗口取决于扫描的周期

 

有没有实时检测一致性并进行修复的方法呢?

【方法三:实时线上“消息对”检测】


这次不是写日志了,而是向消息总线发送消息,如上图1-4流程所示:

1)写入正表T1

2)第一步成功后,发送消息msg1

3)写入反表T2

4)第二步成功后,发送消息msg2

这次不是需要一个周期扫描的离线工具了,而是一个实时订阅消息的服务不停的收消息。

假设正常情况下,msg1msg2的接收时间应该在3s以内,如果检测服务在收到msg1后没有收到msg2,就尝试检测数据的一致性,不一致时进行补偿修复

优点

1)效率高

2)实时性高

缺点

1)方案比较复杂,上线引入了消息总线这个组件

2)线下多了一个订阅总线的检测服务

 

however,技术方案本身就是一个投入产出比的折衷,可以根据业务对一致性的需求程度决定使用哪一种方法。我这边有过好友数据正反表的业务,使用的就是方法二。


本文转载自:http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=403963671&idx=1&sn=51a2d2fd70212451cd5f22bbe...

共有 人打赏支持
snowing1990
粉丝 4
博文 90
码字总数 2952
作品 0
程序员
简单提高数据库查询效率的办法

全局表 所谓全局表,就是有可能系统中所有模块都可能会依赖到的一些表。比较类似我们理解的“数据字典”。为了避免跨库join查询,我们可以将这类表在其他每个数据库中均保存一份。同时,这类...

王小乖的王 ⋅ 2016/11/08 ⋅ 0

“分布式哈希”和“一致性哈希”的概念与算法实现

分布式哈希和一致性哈希是分布式存储和p2p网络中说的比较多的两个概念了。介绍的论文很多,这里做一个入门性质的介绍。 分布式哈希(DHT) 两个key point:每个节点只维护一部分路由;每个节点...

晨曦之光 ⋅ 2012/03/09 ⋅ 0

IM群聊消息究竟是存1份(即扩散读)还是存多份(即扩散写)?

1、前言 IM的群聊消息,究竟存1份(即扩散读方式)还是存多份(即扩散写方式)? 上一篇文章《IM群聊消息的已读回执功能该怎么实现?》是说,“很容易想到,是存一份”,被网友们骂了,大家争...

JackJiang2011 ⋅ 05/25 ⋅ 0

数据库之Schema设计

在数据库 Schema 设计理论方面,一直有一个被大家奉为“葵花宝典”的规范化范式理论。通过范式 理论所设计的数据库 Schema 逻辑清晰,关系明确,扩展方便,就连存储的数据量也做到了尽可能的...

豆豆熊 ⋅ 2014/03/17 ⋅ 0

HBase二级索引与Join

二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性。RDBMS支持得比较好,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来探讨如何基于Hbase构建...

红薯 ⋅ 2011/11/23 ⋅ 0

HBase 二级索引与 Join

二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性。RDBMS支持得比较好,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来探讨如何基于Hbase构建...

红薯 ⋅ 2011/10/18 ⋅ 1

主从DB与cache一致性

本文主要讨论这么几个: (1)数据库主从延时为何会导致缓存数据不一致 (2)优化思路与方案 一、需求缘起 上一篇《缓存架构设计细节二三事》中有一个小优化点,在只有主库时,通过“串行化”...

snowing1990 ⋅ 2016/03/25 ⋅ 0

每秒处理10万高并发订单的某集团支付系统架构详情

随着乐视硬件抢购的不断升级,乐视集团支付面临的请求压力百倍乃至千倍的暴增。作为商品购买的最后一环,保证用户快速稳定的完成支付尤为重要。所以在15年11月,我们对整个支付系统进行了全面...

404Code ⋅ 2017/12/22 ⋅ 0

告诉你 SQL 数据库与 NoSQL 数据库的区别

简单来说 SQL 数据库和 NoSQL 数据库有着共同的目标:存储数据,但存储的方式不同 一. 表 SQL中的表结构具有严格的数据模式约束: 存储数据很难出错。 NoSQL存储数据更加灵活自由:可能导致数...

Howie_Y ⋅ 06/05 ⋅ 0

关系型数据库和非关系型数据库的特性以及各自的优缺点

注1:数据库事务必须具备ACID特性,ACID是Atomic原子性,Consistency一致性,Isolation隔离性,Durability持久性。 注2:数据的持久存储,尤其是海量数据的持久存储,还是需要一种关系数据库...

liboivu ⋅ 04/27 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

收集自网络的wordpress 分页导航的代码教程(全网最全版)

wordpress 分页导航是用来切换文章的一个功能,添加了 wordpress 分页导航后,用户即可自由到达指定的页面数浏览分类文章,而这样的一个很简单功能却有很多朋友在用插件:WP-PageNavi,插件的...

Rhymo-Wu ⋅ 35分钟前 ⋅ 0

微服务 WildFly Swarm 入门

Hello World 就像前面章节中的其他框架一样,我们希望添加一些基本的 Hello-world 功能,然后在其上逐步添加更多的功能。让我们从在我们的项目中创建一个 HolaResources 开始。您可以使用您的...

woshixin ⋅ 42分钟前 ⋅ 0

Maven的安装和Eclipse的配置

1. 下载Maven 下载地址 2. 解压压缩包,放到自己习惯的硬盘中 此处我将其放到了 D:\Tools 目录下。 3. 配置环境变量 右键此电脑 -> 属性 -> 高级系统设置 -> 环境变量。 在系统变量中新建,变...

影狼 ⋅ 49分钟前 ⋅ 0

python pip使用国内镜像的方法

国内源 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学:http://......

良言 ⋅ 50分钟前 ⋅ 0

对于url变化的spa应该如何使用微信jssdk

使用vue单页面碰上微信jssdk config验证失败的坑。第一次成功 之后切换页面全部失败,找到了解决方法,第一次验证成功后保存验证信息 切换页面时验证信息直接拿来用,加一个wx.error() 失败时...

孙冠峰 ⋅ 54分钟前 ⋅ 0

Spring Cloud Gateway 一般集成

SCF发布,带来很多新东西,不过少了点教程,打开方式又和以前的不一样,比如这个SCG,压根就没有入门指导,所以这里写一个,以备后用。 一、集成 pom.xml <dependency> <groupI...

kut ⋅ 58分钟前 ⋅ 0

建造模式

《JAVA与模式》之建造模式

Cobbage ⋅ 今天 ⋅ 0

WePY框架开发的小程序如何在微信web开发者工具中运行起来

一、首先需要安装node.js,安装步骤如下: 首先下载安装包 https://nodejs.org/en/download/ 点击下载相应的zip版本 然后将文件夹解压到任意目录 比如我这里解压到了:C:\Program Files\node...

Helios51 ⋅ 今天 ⋅ 0

使用EnumSet 代替位域(32)

1、位域(Bit field):使用or 运算将几个常量合并到一个集合中 位操作,可以有效地执行 AND 、OR 这样的位操作 但是 位域比int 常量枚举缺点更多 2、java.util 包里面的EnumSet 类是有效的替...

职业搬砖20年 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部