文档章节

解决大并发场景下数据重复插入

一别丶经年
 一别丶经年
发布于 2017/03/17 16:18
字数 1082
阅读 1524
收藏 0

大并发场景中,写入数据库操作经常遇到的一个问题是重复数据插入问题。假设接口服务接收到三个插入数据请求,实际三个请求要插入的数据是同一份数据(部分核心字段构造惟一条件),这个时候常规做法很难保证数据不重复插入。

常规做法是,插入数据之前,查询数据库,判断数据是否存在,不存在则插入。

        long time = System.currentTimeMillis() ;

        for (int i = 0; i < 10000; i++) {
            // 连续10次循环将生成相同用户名,以模拟重复插入情况
            final String username = String.format("U%04d" ,i / 10 + 1);
            if(!userService.exists(username)) {
                userService.save(username ,"111111" ,new Date());
            }
        }

        System.out.printf("程序执行耗时:%d 毫秒!" ,System.currentTimeMillis() - time);

在上述示例代码中,插入数据库之前,先查询,如果是单线程情况下,程序是没问题的,不会重复插入,但如果是并发执行的场景下,判断数据是否存在与插入首先不是原子操作,再者集群环境下也无法依靠事务和Lock等方式来控制重复插入问题。

        long time = System.currentTimeMillis() ;
        ExecutorService exec = Executors.newFixedThreadPool(100) ;

        for (int i = 0; i < 10000; i++) {
            // 连续10次循环将生成相同用户名,以模拟重复插入情况
            final String username = String.format("U%04d" ,i / 10 + 1);
            exec.execute(new Runnable() {
                @Override
                public void run() {
                    if(!userService.exists(username)) {
                        userService.save(username ,"111111" ,new Date());
                    }
                }
            });
        }

        exec.shutdown();
        while (!exec.isTerminated()) ;

        System.out.printf("程序执行耗时:%d 毫秒!" ,System.currentTimeMillis() - time);

上述代码证明了这一点,在测试中,每10条插入操作,插入的用户名是相同的,也就是重复记录,在并发情况下,实际测试结果证明先查询再写入的方式是不可行的。

解决该问题的办法有很多,使用队列、分布式锁等都可以解决。队列方式虽然能解决重复写入问题,但部分场景下不适用,如程序要求写入后需要用到插入的数据,比如数据主键等,虽然可以通过主键生成器,插入之前生成主键,但由于可能是重复插入,生成的主键在插入操作判断出重复而丢弃插入请求时,主键将失效,由于是异步程序,接口并不到及时得到反馈,以致于使用了错误的主键参与后续业务,造成问题。所以这里使用分布式锁来解决重复插入问题,分布式锁常用的有zookeeperredis,这里简单起见使用redisSETNX命令来实现。

SETNX命令在成功写入数据时,返回1,未成功写入时,返回0,并且该操作是原子的,根据此特性可以实现基于该命令的分布式锁,关于该命令的分布式锁网上有很多资料,涉及到锁的获取和释放,这里没有这么复杂,采用了一种取巧的办法,目的仅用于控制重复数据插入。

    @Test
    public void test_multi_insert() {

        long time = System.currentTimeMillis() ;
        ExecutorService exec = Executors.newFixedThreadPool(100) ;

        for (int i = 0; i < 10000; i++) {
            // 连续10次循环将生成相同用户名,以模拟重复插入情况
            final String username = String.format("U%04d" ,i / 10 + 1);
            exec.execute(new Runnable() {
                @Override
                public void run() {
                    if(!exists(username) && !userService.exists(username)) {
                        userService.save(username ,"111111" ,new Date());
                    }
                }
            });
        }

        exec.shutdown();
        while (!exec.isTerminated()) ;

        System.out.printf("程序执行耗时:%d 毫秒!" ,System.currentTimeMillis() - time);

    }

    private boolean exists(String username) {
        final String key = "lock:" + username ;
        Jedis jedis = null ;
        try {
            jedis = jedisPool.getResource() ;
            Long reply = jedis.setnx(key ,"1") ;
            if (reply != null && reply.equals(1L)) {
                // 由于只是为了解决瞬时并发写入重复问题,所以缓存生存时间定为30秒
                jedis.expire(key ,30) ;
                return false ;
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (jedis != null) {
                jedis.close();
            }
        }
        return true ;
    }

这里采用了取巧的办法,并不需要关注锁的释放问题,所以这里的锁释放(设置过期时间)操作并不严谨,但对于本案例来说,即使锁不释放,也不会有太大问题(浪费点Redis存储空间),因为相同数据一旦写入,后面再也不应该再次写入,所以即使本例锁不释放也不会造成什么问题。

代码地址:http://git.oschina.net/zlikun/zlikun-test-concurrent_write_db

仅以此记录测试过程,个人备忘,不严谨之处欢迎指出。

© 著作权归作者所有

一别丶经年
粉丝 25
博文 36
码字总数 56214
作品 0
徐汇
架构师
私信 提问
加载中

评论(2)

一别丶经年
一别丶经年 博主

引用来自“wolfbang”的评论

一般情况下,是没有问题的;但是极端情况下,假如执行到这行代码:Long reply = jedis.setnx(key ,"1") ; 然后,程序挂了没有执行 jedis.expire(key ,30) ;那么这个key,就永远不会过期了。也就是说,这个锁永远无法被获取到,也无法被过期回收。redis里面有个命令https://redis.io/commands/set,这个命令支持,NX和EX选项。如果是使用spring/springboot的stringRedisTemplate,需要额外写代码,来覆写命令,以便支持NX和EX选项。
嗯,你说的这个是对的,不过这个特性是后来的版本提供的,我记得当时还没有这个特性
wolfbang
wolfbang
一般情况下,是没有问题的;但是极端情况下,假如执行到这行代码:Long reply = jedis.setnx(key ,"1") ; 然后,程序挂了没有执行 jedis.expire(key ,30) ;那么这个key,就永远不会过期了。也就是说,这个锁永远无法被获取到,也无法被过期回收。redis里面有个命令https://redis.io/commands/set,这个命令支持,NX和EX选项。如果是使用spring/springboot的stringRedisTemplate,需要额外写代码,来覆写命令,以便支持NX和EX选项。
asp.net core异步进行新增操作并且需要判断某些字段是否重复的三种解决方案

之前碰到asp.net core异步进行新增操作并且需要判断某些字段是否重复的问题,进行插入操作的话会导致数据库中插入重复的字段!下面把我的解决方法记录一下,如果对您有所帮助,欢迎拍砖! 场...

依乐祝
2018/05/29
0
0
一个多线程bug引发的测试思考

背景 今天收到测试的一个bug反馈,bug描述:author表中存在重复的作者信息,在提测时我有说明task解析页面后获得作者信息会按authorId 判断DB中是否已经存在,存在了则不往DB中插入,这本是一...

测试开发栈
2018/06/04
0
0
防重复请求处理的实践与总结

##背景 在业务开发中,我们常会面对防止重复请求的问题。当服务端对于请求的响应涉及数据的修改,或状态的变更时,可能会造成极大的危害。重复请求的后果在交易系统、售后维权,以及支付系统...

十二缸帕萨特
2015/10/12
197
0
防重复请求处理的实践与总结

##背景 在业务开发中,我们常会面对防止重复请求的问题。当服务端对于请求的响应涉及数据的修改,或状态的变更时,可能会造成极大的危害。重复请求的后果在交易系统、售后维权,以及支付系统...

十二缸帕萨特
2015/09/24
232
0
mongo分页查询方式

闲下来,想了下准备总结下最近在mongo查询上所遇到的一些问题,我在这里罗列一下。 1.mongo使用shell的find查询: 查询long型字段时,需要在查询条件里使用NumberLong("xxxx")包裹起来,这样...

孙超飞
2018/01/29
128
0

没有更多内容

加载失败,请刷新页面

加载更多

3_数组

3_数组

行者终成事
今天
7
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0
使用logstash同步MySQL数据到ES

概述   在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。   在使用logstas...

zxiaofan666
今天
10
0
X-MSG-IM-分布式信令跟踪能力

经过一周多的鏖战, X-MSG-IM的分布式信令跟踪能力已基本具备, 特点是: 实时. 只有要RX/TX就会实时产生信令跟踪事件, 先入kafka, 再入influxdb待查. 同时提供实时sub/pub接口. 完备. 可以完整...

dev5
今天
7
0
OpenJDK之CyclicBarrier

OpenJDK8,本人看的是openJDK。以前就看过,只是经常忘记,所以记录下 图1 CyclicBarrier是Doug Lea在JDK1.5中引入的,作用就不详细描述了,主要有如下俩个方法使用: await()方法,如果当前线...

克虏伯
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部