文档章节

缓存架构设计细节二三事 (一)

snowing1990
 snowing1990
发布于 2016/03/14 13:35
字数 1868
阅读 70
收藏 1
点赞 1
评论 0

本文主要讨论这么几个问题:

1)“缓存与数据库”需求缘起

2)“淘汰缓存”还是“更新缓存”

3)缓存和数据库的操作时序

4)缓存和数据库架构简析

 

一、需求缘起

场景介绍

缓存是一种提高系统读性能的常见技术,对于读多写少的应用场景,我们经常使用缓存来进行优化。

例如对于用户的余额信息表account(uid, money),业务上的需求是:

1)查询用户的余额,SELECT money FROM account WHERE uid=XXX,占99%的请求

2)更改用户余额,UPDATE account SET money=XXX WHERE uid=XXX,占1%的请求


由于大部分的请求是查询,我们在缓存中建立uidmoney的键值对,能够极大降低数据库的压力。

 

读操作流程

有了数据库和缓存两个地方存放数据之后(uid->money),每当需要读取相关数据时(money),操作流程一般是这样的:

1)读取缓存中是否有相关数据,uid->money

2)如果缓存中有相关数据money,则返回【这就是所谓的数据命中hit”】

3)如果缓存中没有相关数据money,则从数据库读取相关数据money【这就是所谓的数据未命中miss”】,放入缓存中uid->money,再返回

缓存的命中率 = 命中缓存请求个数/总缓存访问请求个数 = hit/(hit+miss)

上面举例的余额场景,99%的读,1%的写,这个缓存的命中率是非常高的,会在95%以上。

 

那么问题来了

当数据money发生变化的时候:

1)是更新缓存中的数据,还是淘汰缓存中的数据呢?

2)是先操纵数据库中的数据再操纵缓存中的数据,还是先操纵缓存中的数据再操纵数据库中的数据呢?

3)缓存与数据库的操作,在架构上是否有优化的空间呢?

这是本文关注的三个核心问题。

 

二、更新缓存 VS 淘汰缓存

什么是更新缓存:数据不但写入数据库,还会写入缓存

什么是淘汰缓存:数据只会写入数据库,不会写入缓存,只会把数据淘汰掉

 

更新缓存的优点:缓存不会增加一次miss,命中率高

淘汰缓存的优点:简单(我去,更新缓存我也觉得很简单呀,楼主你太敷衍了吧)

 

那到底是选择更新缓存还是淘汰缓存呢,主要取决于“更新缓存的复杂度”。

例如,上述场景,只是简单的把余额money设置成一个值,那么:

1)淘汰缓存的操作为deleteCache(uid)

2)更新缓存的操作为setCache(uid, money)

更新缓存的代价很小,此时我们应该更倾向于更新缓存,以保证更高的缓存命中率

 

如果余额是通过很复杂的数据计算得出来的,例如业务上除了账户表account,还有商品表product,折扣表discount

account(uid, money)

product(pid, type, price, pinfo)

discount(type, zhekou)

业务场景是用户买了一个商品product,这个商品的价格是price,这个商品从属于type类商品,type类商品在做促销活动要打折扣zhekou,购买了商品过后,这个余额的计算就复杂了,需要:

1)先把商品的品类,价格取出来:SELECT type, price FROM product WHERE pid=XXX

2)再把这个品类的折扣取出来:SELECT zhekou FROM discount WHERE type=XXX

3)再把原有余额从缓存中查询出来money = getCache(uid)

4)再把新的余额写入到缓存中去setCache(uid, money-price*zhekou)

更新缓存的代价很大,此时我们应该更倾向于淘汰缓存。

 

however,淘汰缓存操作简单,并且带来的副作用只是增加了一次cache miss,建议作为通用的处理方式。

 

三、先操作数据库 vs 先操作缓存

OK,当写操作发生时,假设淘汰缓存作为对缓存通用的处理方式,又面临两种抉择:

1)先写数据库,再淘汰缓存

2)先淘汰缓存,再写数据库

究竟采用哪种时序呢?

 

还记得在《冗余表如何保证数据一致性》文章(点击查看)里“究竟先写正表还是先写反表”的结论么?

对于一个不能保证事务性的操作,一定涉及“哪个任务先做,哪个任务后做”的问题,解决这个问题的方向是:

如果出现不一致,谁先做对业务的影响较小,就谁先执行。

 

由于写数据库与淘汰缓存不能保证原子性,谁先谁后同样要遵循上述原则。


假设先写数据库,再淘汰缓存:第一步写数据库操作成功,第二步淘汰缓存失败,则会出现DB中是新数据,Cache中是旧数据,数据不一致

 


假设先淘汰缓存,再写数据库:第一步淘汰缓存成功,第二步写数据库失败,则只会引发一次Cache miss

 

结论:数据和缓存的操作时序,结论是清楚的:先淘汰缓存,再写数据库。

 

四、缓存架构优化


上述缓存架构有一个缺点业务方需要同时关注缓存与DB,有没有进一步的优化空间呢?有两种常见的方案,一种主流方案,一种非主流方案(一家之言,勿拍)。

 


主流优化方案服务化:加入一个服务层,向上游提供帅气的数据访问接口,向上游屏蔽底层数据存储的细节,这样业务线不需要关注数据是来自于cache还是DB

 


非主流方案异步缓存更新:业务线所有的写操作都走数据库,所有的读操作都总缓存,由一个异步的工具来做数据库与缓存之间数据的同步,具体细节是:

1)要有一个init cache的过程,将需要缓存的数据全量写入cache

2)如果DB有写操作,异步更新程序读取binlog,更新cache

在(1)和(2)的合作下,cache中有全部的数据,这样:

a)业务线读cache,一定能够hit(很短的时间内,可能有脏数据),无需关注数据库

b)业务线写DBcache中能得到异步更新,无需关注缓存

这样将大大简化业务线的调用逻辑存在的缺点是,如果缓存的数据业务逻辑比较复杂,async-update异步更新的逻辑可能也会比较复杂。

 

五、其他未尽事宜

本文只讨论了缓存架构设计中需要注意的几个细节点,如果数据库架构采用了一主多从,读写分离的架构,在特殊时序下,还很可能引发数据库与缓存的不一致,这个不一致如何优化,后续的文章再讨论吧。

 

六、结论强调

1淘汰缓存是一种通用的缓存处理方式

2先淘汰缓存,再写数据库的时序是毋庸置疑的

3服务化是向业务方屏蔽底层数据库与缓存复杂性的一种通用方式


© 著作权归作者所有

共有 人打赏支持
snowing1990
粉丝 4
博文 90
码字总数 2952
作品 0
程序员
缓存架构设计细节二三事

本文主要讨论这么几个问题: (1)“缓存与数据库”需求缘起 (2)“淘汰缓存”还是“更新缓存” (3)缓存和数据库的操作时序 (4)缓存和数据库架构简析 一、需求缘起 场景介绍 缓存是一种...

问题达人 ⋅ 2016/03/31 ⋅ 2

缓存架构设计细节二三事

本文主要讨论这么几个问题: (1)“缓存与数据库”需求缘起 (2)“淘汰缓存”还是“更新缓存” (3)缓存和数据库的操作时序 (4)缓存和数据库架构简析 一、需求缘起 场景介绍 缓存是一种...

Java_Coder ⋅ 2016/03/28 ⋅ 0

缓存与数据库一致性保证

原创 2016-03-16 58沈剑 架构师之路 本文主要讨论这么几个问题: (1)啥时候数据库和缓存中的数据会不一致 (2)不一致优化思路 (3)如何保证数据库与缓存的一致性 一、需求缘起 上一篇《缓...

毛爷爷夸我帅 ⋅ 2016/12/06 ⋅ 0

主从DB与cache一致性

本文主要讨论这么几个: (1)数据库主从延时为何会导致缓存数据不一致 (2)优化思路与方案 一、需求缘起 上一篇《缓存架构设计细节二三事》中有一个小优化点,在只有主库时,通过“串行化”...

snowing1990 ⋅ 2016/03/25 ⋅ 0

最新报告:80%的卫视已经“零收视率”了,媒体的未来在哪里

  在你每天低头玩手机的时候,你可能不知道,现在很多二三线卫视已经是“零收视率”了!   英雄老去,美人迟暮   据调查,很多二三线卫视已经面临无人观看的窘境了。有一些卫视,为了收...

中国人工智能 ⋅ 2017/11/04 ⋅ 0

CSDN日报180525——《我是如何写出一本畅销技术书的》

程序人生 | 我是如何写出一本畅销技术书的 作者:刘望舒 如何写技术文章已经有很多人写过了,这里我来讲一下如何写一本畅销书,以及成为畅销书作者后发生的事。 点击阅读全文 架构 | 时间序列...

blogdevteam ⋅ 05/26 ⋅ 0

近几个月博客阅读整理

java Java finally语句到底是在return之前还是之后执行? 白话JVM-深入虚拟机字节码执行引擎 详细分析Java中断机制 TOMCAT源码分析 Flink内存管理源码解读之基础数据结构 Flink内存管理源码解...

oO脾气不坏Oo ⋅ 2016/04/23 ⋅ 0

JavaScript 的地图引擎--Maptalks

Maptalks 项目是一个 HTML5 的地图引擎, 基于原生 ES6 Javascript 开发: 二三维一体化地图, 通过二维地图的旋转 /倾斜增加三维视角 插件化设计, 能与其他图形库结合, 开发各种二三维效果, 例...

FuZhenn ⋅ 2017/10/16 ⋅ 8

缓存与数据库一致性保证 (二)

本文主要讨论这么几个点: (1)啥时候数据库和缓存中的数据会不一致 (2)不一致优化思路 (3)如何保证数据库与缓存的一致性 一、需求缘起 上一篇《缓存架构设计细节二三事》(点击查看)引...

snowing1990 ⋅ 2016/03/17 ⋅ 0

面向全栈的技术管理(多图)

3月25日周六,在中生代和飞马网的技术嘉年华上,斗胆披上吹牛的嫌疑,分享了面向全栈的技术管理,现赘述如下。 研发管理有着广义和狭义的定义,总的来说,研发管理就是在研发体系基础之上,借...

wireless_com ⋅ 2017/03/27 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

RabbitMQ学习以及与Spring的集成(三)

本文介绍RabbitMQ与Spring的简单集成以及消息的发送和接收。 在RabbitMQ的Spring配置文件中,首先需要增加命名空间。 xmlns:rabbit="http://www.springframework.org/schema/rabbit" 其次是模...

onedotdot ⋅ 9分钟前 ⋅ 0

JAVA实现仿微信红包分配规则

最近过年发红包拜年成为一种新的潮流,作为程序猿对算法的好奇远远要大于对红包的好奇,这里介绍一种自己想到的一种随机红包分配策略,还请大家多多指教。 算法介绍 一、红包金额限制 对于微...

楠木楠 ⋅ 21分钟前 ⋅ 0

Python 数电表格格式化 xlutils xlwt xlrd的使用

需要安装 xlutils xlwt xlrd 格式化前 格式化后 代码 先copy读取的表格,然后按照一定的规则修改,将昵称中的学号提取出来替换昵称即可 from xlrd import open_workbookfrom xlutils.copy ...

阿豪boy ⋅ 50分钟前 ⋅ 0

面试题:使用rand5()生成rand7()

前言 读研究生这3 年,思维与本科相比变化挺大的,这几年除了看论文、设计方案,更重要的是学会注重先思考、再实现,感觉更加成熟吧,不再像个小P孩,人年轻时总会心高气傲。有1 道面试题:给...

初雪之音 ⋅ 51分钟前 ⋅ 0

Docker Toolbox Looks like something went wrong

Docker Toolbox 重新安装后提示错误:Looks like something went wrong in step ´Checking if machine default exists´ 控制面板-->程序与应用-->启用或关闭windows功能:找到Hyper-V,如果处......

随你疯 ⋅ 今天 ⋅ 0

Guacamole 远程桌面

本文将Apache的guacamole服务的部署和应用,http://guacamole.apache.org/doc/gug/ 该链接下有全部相关知识的英文文档,如果水平ok,可以去这里仔细查看。 一、简介 Apache Guacamole 是无客...

千里明月 ⋅ 今天 ⋅ 0

nagios 安装

Nagios简介:监控网络并排除网络故障的工具:nagios,Ntop,OpenVAS,OCS,OSSIM等开源监控工具。 可以实现对网络上的服务器进行全面的监控,包括服务(apache、mysql、ntp、ftp、disk、qmail和h...

寰宇01 ⋅ 今天 ⋅ 0

AngularDart注意事项

默认情况下创建Dart项目应出现以下列表: 有时会因为不知明的原因导致列表项缺失: 此时可以通过以下步骤解决: 1.创建项目涉及到的包:stagehand 2.执行pub global activate stagehand或pub...

scooplol ⋅ 今天 ⋅ 0

Java Web如何操作Cookie的添加修改和删除

创建Cookie对象 Cookie cookie = new Cookie("id", "1"); 修改Cookie值 cookie.setValue("2"); 设置Cookie有效期和删除Cookie cookie.setMaxAge(24*60*60); // Cookie有效时间 co......

二营长意大利炮 ⋅ 今天 ⋅ 0

【每天一个JQuery特效】淡入淡出显示或隐藏窗口

我是JQuery新手爱好者,有时间就练练代码,防止手生,争取每天一个JQuery练习,在这个博客记录下学习的笔记。 本特效主要采用fadeIn()和fadeOut()方法显示淡入淡出的显示效果显示或隐藏元...

Rhymo-Wu ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部