文档章节

Java连MySQL性能调优(batch insert和连续left join筛选)

flash胜龙
 flash胜龙
发布于 08/10 15:15
字数 787
阅读 11
收藏 5

之前一个数据校验功能遇到严重性能瓶颈

插入数据居然需要22秒,优化后0.38秒

一个联合join校验需要42秒,优化后1.87秒

一个增删改对比显示union的sql需要49秒,优化后1.023秒

 

1、首先是batch的问题:

  在本项目中,使用了org.springframework.jdbc.core.JdbcTemplate类作为数据库链接服务。批量插入时,调用jdbcTemplate.batchUpdate方法进行批量插入,然而插入速度不尽如人意,非常缓慢。问题点在于,明明使用了batchUpdate而不是逐条插入,为何会出现插入缓慢的问题呢?

  原来在链接MySQL的时候,并没有设置自动合并多个insert的功能,导致还是变成了逐条插入。正确的方式是,修改MySQL链接参数,添加关键字段rewriteBatchedStatements=true,详细如下:

jdbc:mysql://test_host:3306/test_schemas1?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&rewriteBatchedStatements=true

  添加这个rewriteBatchedStatements参数设置后,batch插入从原来的22秒变成了0.38秒,速度提升明显。

 

2、接着是一个联合join的校验问题。

  项目需求一个3表join,以左表为基准,进行2次连续的left join且附带筛选条件。调优前运行缓慢,需要44秒。

  原先采用一条sql解决所有问题,后改为首先用3条sql将3个表的最新记录筛选下来,再用Map<String, List<String> >数据结构记录key和重复的项,遍历进行java式的join,由于全部运算基于hashmap且在内存中运行,速度非常快

  调优后速度变为1.87秒

 

3、最后是个增删改对比显示的sql问题

  这段SQL的原来思路是先left join,右表为null的就是相对右表新增的;再inner join,把对比修改的字段都判断一遍,不全相等的就是左表相对右表更改的;最后再right join,把左表为null的筛出来,说明这是左表相对右表删除的。最后最后,把3个查出来的结果再union起来。整个查询时间非常漫长,需要49秒。

  优化后的代码,将左表和右表分别用DAO载下来,然后通过HashMap来进行对比,大致代码如下:

Map<String, String[]> mapA = dbData;
Map<String, String[]> mapB = upload;
Map<String, String[]> mapBadd = new HashMap<String, String[]>(mapB);
Map<String, String[]> mapBdel = new HashMap<String, String[]>();
Map<String, String[]> mapBchange = new HashMap<String, String[]>();

Iterator<String> it = mapA.keySet().iterator();

while (it.hasNext()) {
        String key = it.next();
        String[] val = mapA.get(key);

        if (mapB.containsKey(key)) {
                String[] bVal = mapB.get(key);

                if (val != null && val.equals(bVal) || Arrays.equals(val, bVal)) {
                } else {
                        String[] changeVal = new String[val.length + bVal.length];
                        System.arraycopy(val, 0, changeVal, 0, val.length);
                        System.arraycopy(bVal, 0, changeVal, val.length, bVal.length);
                        mapBchange.put(key, changeVal);
                }
                mapBadd.remove(key);
        } else {
                // A里面有的,B没有的
                mapBdel.put(key, val);
        }
}

  优化后仅需要1.023秒,非常快。

 

© 著作权归作者所有

共有 人打赏支持
flash胜龙
粉丝 1
博文 26
码字总数 16281
作品 0
海淀
加载中

评论(2)

踏破铁鞋无觅处
踏破铁鞋无觅处
Java的join比数据库join效率高吗?
大量数据和少量数据区别明显吗
哈哈小猪
哈哈小猪
join查询对于结果数据只有时间节点吗,左表关联的数据如果涉及到右表的数据,这个好像不行吧
大型互联网架构必备技术——性能调优专题

性能调优 深入内核,直击故障 ,拒绝蒙圈 性能优化如何理解 1、性能基准 2、什么是性能优化 3、衡量标准 JVM调优 1、Jvm虚拟机内存剖析 2、垃圾收集器 3、实战调优案例与解决方案 4、Jvm运行...

Java高级架构
04/15
0
0
MySQL JDBC 的 BATCH 执行和 rewriteBatchedStatements 参数

本来以为这是一个已解决的问题,但是发现有同学不知道,所以写一下。 经常使用 MySQL 的同学可能知道,默认情况下 MySQL JDBC 驱动是不支持 BATCH 的: 在真正执行的时候,MySQL JDBC 驱动仍...

长源
08/01
0
0
Mysql与Couchbase之区别!!

一、数据模型不同 Mysql customer id: numeric primary key firstname: varchar lastname: varchar customer_address id: numeric primary key city: varchar state: varchar zip: varchar c......

59090939
06/26
0
0
成为Java GC专家(5)—Java性能调优原则

这是“成为Java GC专家”系列的第五篇文章。在第一篇深入浅出Java垃圾回收机制中,我们已经学习了不同的GC算法流程、GC的工作原理、新生代(Young Generation)和老年代(Old Generation)的...

stefanzhlg
2014/12/05
0
1
JVM性能优化, Part 5:Java的伸缩性

ImportNew注: JVM性能优化系列文章前4篇由ImportNew翻译(第一篇,第二篇,第三篇, 第四篇)。本文由新浪微博:吴杰 (@WildJay) 投稿至ImportNew。感谢吴杰! 如果你希望分享好的原创文章或...

梁杰_Jack
2014/10/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

解决访问swaggerUI接口文档显示basic-error-controler问题

使用swagger生成接口文档后,访问http://localhost:8888/swagger-ui.html#/,显示如下: 解决方法: public Docket createRestApi() {return new Docket(DocumentationType.SWAGGER_2)......

张欢19933
13分钟前
1
0
区块链教程以太坊源码分析core-state-process源码分析(二)

兄弟连区块链教程以太坊源码分析core-state-process源码分析(二):关于g0的计算,在黄皮书上由详细的介绍和黄皮书有一定出入的部分在于if contractCreation && homestead {igas.SetUin...

兄弟连区块链入门教程
18分钟前
0
0
BLAKE2 — fast secure hashing

BLAKE2 — fast secure hashing SPECS | CODE | B2SUM | CONTACT | USERS | THIRD-PARTY SOFTWARE | CRYPTANALYSIS | FAQ Come from http://www.blake2.net/ BLAKE2 is a cryptographic has......

openthings
24分钟前
0
0
Titan Framework MongoDB深入理解3

在前两篇文章中,我们介绍了操作Mongo数据库的类型Curd和Finder,下面要理解的是框架内mongoDB操作的条件类型——MongoDBQueryCondition。 MongoDBQueryCondition是一个接口,规定了一些实现...

云季科技
24分钟前
0
0
数据结构(算法)-树

#include <iostream>#include <malloc.h>using namespace std;#define MaxSize 100typedef char ElemType;typedef struct node{ElemType data;struct node *left ,*......

ashuo
26分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部