真牛逼!我司用了7年的分布式锁方案...

2020/08/21 11:30
阅读数 1W

点击上方“方志朋”,选择“设为星标

回复”666“获取新整理的面试文章

提到数据一致性、操作原子性,诸如此类的一些与并发有关的词汇时不知道你第一时间会联想到什么呢?我相信大多数人可能会想到“锁”,为什么是锁呢,这个我不多说,大家心里应该都明白。在单体应用时代,我们使用jvm提供的锁就可以很好的工作,但是到了分布式应用时代,jvm提供的锁就行不通了,那么势必要借助一些跨jvm的临界资源来支持锁的相关语义,比如redis,zookeeper等。
步入正题
我今天就来分享下我司基于redis来实现的分布式锁,2013年投入使用,也算是久经沙场。但是也存在一些设计上的缺陷,这个我后面也会提到,希望大家秉着互相学习的态度文明交流,别一上来就说这不行那不行,还是那句话“适合自己的才是最好的”。
加锁过程分析
image
我第一次读代码的时候,有这么几个疑惑:
Q1:为什么不使用 SET key value [expiration EX seconds|PX milliseconds] [NX|XX]  这个指令来实现key的自动过期呢,反而放到应用代码判断key是否过期?
A1:我们的分布式锁开发的时候SET命令还不支持NX、PX,所以才想出这种办法来实现key过期,NX、PX在2.6.12以后开始支持;
Q2:已经判断了当前key对应的时间戳已经过期了,为什么还要使用getset再获取一次呢,直接使用set指令覆盖不可以吗?
A2:这里其实牵扯到并发的一些事情,如果直接使用set,那有可能多个客户端会同时获取到锁,如果使用getset然后判断旧值是否过期就不会有这个问题,设想一下如下场景:
  • C1加锁成功,不巧的是,这时C1意外的奔溃了,自然就不会释放锁;
  • C2,C3尝试加锁,这时key已存在,所以C2,C3去判断key是否已过期,这里假设key已经过期了,所以C2,C3使用set指令去设置值,那两个都会加锁成功,这就闯大祸了;如果使用getset指令,然后判断下返回值是否过期就可以避免这种问题,假如C2跑的快,那C3判断返回的时间戳已经过期,自然就加锁失败;
释放锁过程分析
image
Q1:为什么释放锁时还需要判断key是否过期呢,直接del不是性能更高吗?
A1:考虑这样一种场景:
  • C1获取锁成功,开始执行自己的操作,不幸的是C1这时被阻塞了;
  • C2这时来获取锁,由于C1被阻塞了很长时间,所以key对应的value已经过期了,这时C2通过getset加锁成功;
  • C1尘封了太久终于被再次唤醒,对于释放锁这件事它可是认真的,伴随着一波del操作,悲剧即将发生;
  • C3来获取锁,好家伙,居然一下就成功了,接着就是一波操作猛如虎,接着就是一堆的客诉过来了;
为什么会这样呢?回想C1被唤醒以后的事情,居然敢直接del,C2活都没干完呢,锁就被C1给释放了,这时C3来直接就加锁成功,所以为了安全起见C3释放锁时得分成两步:1.判断value是否已经过期 2.如果已过期直接忽略,如果没过期就执行del。这样就真的安全了吗?安全了吗?安全了吗?假如第一步和第二步之间相隔了很久是不是也会出现锁被其他人释放的问题呢?是吧?是的!有没有别的解决办法呢?听说借助lua就可以解决这个问题了,感兴趣的直接给你传送过去可好。
正视自己的缺点
Q1:Redis锁的过期时间小于业务的执行时间该如何续期?
A1:这个暂时没有实现,据说有一个叫Redisson的家伙解决了这个问题,我们也有部分业务在使用,未来有可能会切换到Redisson。
Q2:怎么实现的高可用?
A2:我们采用Failover机制,初始化redis锁的时候会维护一个redis连接池,加锁或者释放锁的时候采用多写的方式来保障一致性,如果某个节点不可用的时候会自动切换到其他节点,但是这种机制可能会导致多个客户端同时获取到锁的情况,考虑这种情况:
  • C1去redis1加锁,加锁成功后会写到redis2,redis3;
  • C2也去redis1加锁,但是此时C2到redis1的网络出现问题,这时C2切换到redis2去加锁,由于第一步中的redis多写并不是原子的,所有就有可能导致C2也获取锁成功;
针对这种情况,目前有些业务方是通过数据库唯一索引的方式来规避的,未来会修复这个bug,具体方案目前还没有。
来源 | https://urlify.cn/iQJ3qa


    
    
  
      
      

热门内容:


最近面试BAT,整理一份面试资料Java面试BAT通关手册,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

明天见(。・ω・。)ノ

本文分享自微信公众号 - 方志朋(walkingstory)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
1
8 收藏
分享
加载中
这个算法的一个假定是集群有一个全局时钟, 事实上全局时钟在分布式系统中不能作为前提(pre-condition),这是为什么有各种分布式算法来保障事件发生的顺序,参见 http://users.ece.utexas.edu/~garg/dist/wiley-encyc.pdf
2020/08/23 04:23
回复
举报
这就是绝对精确的全局时钟,但问题是这个时钟是个单点,可用性和性能较差,并且有可能故障回档,并发写效率差,但不失为一个简单的方法
2020/09/15 08:07
回复
举报
梵蒂冈的施工方
2020/08/22 00:24
回复
举报
啥玩意,这东西要是不出问题见鬼了,只要不是原子操作的都可以出现数据不同步。C2,C3尝试加锁,难道不会同时GET,只会等一个GET,SET完了,另外一个才是GET?用这都不如直接用个add,add这可是redis最开始就有的吧
2020/08/21 18:10
回复
举报
更多评论
打赏
4 评论
8 收藏
1
分享
返回顶部
顶部