文档章节

高效插入语句

浮躁的码农
 浮躁的码农
发布于 2015/08/25 13:28
字数 411
阅读 122
收藏 6
点赞 0
评论 0
try {
            Connection conn = getConnection(TO_DRIVER,TO_URL,TO_USERNAME,TO_PASSWORD);
            conn.setAutoCommit(false);
            String sql = "insert into mc_stat_trends(clock,itemid,itemname,ip,num,value_min, value_avg, value_max) values(?,?,?,?,?,?,?,?)";
            PreparedStatement prst = conn.prepareStatement(sql);
            for (int i = 0; i < list.size(); i++) {  
                Map<String, Object> bean = list.get(i);
                //System.out.println(bean.toString());
                prst.setLong(1, Long.valueOf(bean.get("clock").toString()));
                prst.setLong(2, Long.valueOf(bean.get("itemId").toString()));
                prst.setString(3, String.valueOf(bean.get("itemName")));
                prst.setString(4, String.valueOf(bean.get("ip")));
                prst.setLong(5, Long.valueOf(bean.get("num").toString()));
                prst.setFloat(6, Float.valueOf(bean.get("value_min").toString()));
                prst.setFloat(7, Float.valueOf(bean.get("value_avg").toString()));
                prst.setFloat(8, Float.valueOf(bean.get("value_max").toString()));
                prst.addBatch();
                if(i >0 &&i%1000 == 0){
                    long startT = System.currentTimeMillis();
                    prst.executeBatch();
                    long endT = System.currentTimeMillis();
                    System.out.println("批量转存数据第["+i+"]条耗时"+(endT-startT)/1000+"S");
                }
            }
            prst.executeBatch();
            conn.commit();
            conn.close();
            prst.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }



1.2 结果输出

1.2.1 计算环境

1.2.3 计算结果

从控制台可以看出:平均每插入1000条消耗时间是:38S左右,如果照此计算:358*38=13604S

2.1改写后(拼接方式插入[insert table values(?,?,?),(?,?,?),(?,?,?)]案例)

try {
            Connection conn = getConnection(TO_DRIVER,TO_URL,TO_USERNAME,TO_PASSWORD);
            conn.setAutoCommit(false);
            String insertSql = "insert into mc_stat_trends(clock,itemid,itemname,ip,num,value_min,value_avg,value_max) values ";
            StringBuffer valBuffer = new StringBuffer();
            for (int i = 0; i < list.size(); i++) {
                Map<String, String> bean = list.get(i);
                valBuffer.append("(");
                valBuffer.append(Long.valueOf(bean.get("clock"))+",");
                valBuffer.append(Long.valueOf(bean.get("itemId"))+",");
                valBuffer.append("'"+String.valueOf(bean.get("itemName"))+"',");
                valBuffer.append("'"+String.valueOf(bean.get("ip"))+"',");
                valBuffer.append(Long.valueOf(bean.get("num"))+",");
                valBuffer.append(bean.get("value_min")+",");
                valBuffer.append(bean.get("value_avg")+",");
                valBuffer.append(bean.get("value_max"));
                valBuffer.append(")");
                if((i >0 &&i%200 == 0) || i==list.size()-1){//
                    //long startT = System.currentTimeMillis();
                    String sql = valBuffer.insert(0, insertSql).toString();
                    valBuffer.setLength(0);
                    //System.out.println(sql);
                    Statement stat = conn.createStatement();
                    stat.execute(sql);
                    //long endT = System.currentTimeMillis();
                    //System.out.println("批量转存数据第["+i+"]条耗时"+(endT-startT)/1000+"S");
                }else{
                    valBuffer.append(",");
                }
            }



2.2 结果输出

2.2.1 计算环境

2.2.3 计算结果

这个计算环境是本地机器()计算出的效果:从控制台可以看出:35W输入插入:需要:85S时间.在生产环境配置下插入效率更高效 如图:消耗时间只有:33-10=13S.

结论

越是封装的代码,它的使用会容易,但效率会降低。


本文转载自:http://my.oschina.net/guoenzhou/blog/351720

共有 人打赏支持
浮躁的码农

浮躁的码农

粉丝 58
博文 714
码字总数 141530
作品 0
松江
程序员
SQLite学习手册(实例代码)

三、高效的批量数据插入: 在给出操作步骤之前先简单说明一下批量插入的概念,以帮助大家阅读其后的示例代码。事实上,批量插入并不是什么新的概念,在其它关系型数据库的C接口API中都提供了...

涩女郎
2015/08/26
0
0
mysql select 原理

第一步:应用程序把查询SQL语句发给服务器端执行。 我们在数据层执行SQL语句时,应用程序会连接到相应的数据库服务器,把SQL语句发送给服务器处理。 第二步:服务器解析请求的SQL语句。 1:SQL计...

marjey
2016/12/17
7
0
java asm 框架 浅析

什么是asm呢?asm是assembly的缩写,是汇编的称号,对于java而言,asm就是字节码级别的编程。 而这里说到的asm是指objectweb asm,一种.class的代码生成器的开源项目. ASM是一套java字节码生成...

beibugulf
2016/10/31
16
0
mysql大量数据插入探讨(量变引起质变)

分类:见Visio图 关于大量数据导入是应注意以下几点: 分批导入,导入一批后最后提交(commit),可以使用jdbc的(executeBatch)批量处理但是注意它的最大上限,否则只会执行一部分sql语句,超...

soul_mate
2014/04/27
0
0
oracle sql 优化(三)

(23) 用>=替代> 高效: SELECT FROM EMP WHERE DEPTNO >=4 低效: SELECT FROM EMP WHERE DEPTNO >3 两者的区别在于, 前者DBMS将直接跳到第一个DEPT等于4的记录而后者将首先定位到DEPTNO=3的......

等待救赎
2016/03/02
26
0
SQLAlchemy 操作实践

SQLAlchemy 是python操作数据库的最好用的一个库,能够进行ORM映射.它为高效和高性能的数据库访问设计,实现了完整的企业级持久模型。SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集...

aibati2008
2016/07/28
46
0
MySQL触发器trigger的使用

Q:什么是触发器? A:   触发器是与表有关的数据库对象,在满足定义条件时触发,并执行触发器中定义的语句集合。 触发器的特性:   1、有begin end体,begin end;之间的语句可以写的简单...

zsdnr
2017/07/21
0
0
JDBC之使用Statement,PreparedStatement,ResultSet

创建一个获取Connection对象和关闭资源的工具类   在对数据库进行CRUD(①查询数据、②数据插入、③数据修改、④数据删除)操作的时候,每一个操作都需要获取Connection对象,所以我们就可...

天蚕宝衣
2016/05/26
63
0
Pomm 1.2.0 正式版发布,PG 专用 ORM 框架

Pomm 1.2.0 正式版发布,这是第一个 1.2 稳定版本。此版本包括了一些功能和性能的改进。更新内容如下: 使用 PHP 原生 PostgreSQL API 来访问数据库 添加了先的 JSON 转换器,自定义符合类型...

oschina
2014/01/23
601
2
MySQL优化-3-SQL优化

优化SQL的一般步骤: 1. 通过show status 和应用特点了解各种SQL 的执行频率 通过SHOW STATUS 可以提供服务器状态信息,也可以使用mysqladmin extendedstatus 命令获得。SHOW STATUS 可以根据...

jiyayun
2012/12/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CoreText进阶(七)-添加自定义View和对其

CoreText进阶(七)-添加自定义View和对其 其它文章: CoreText 入门(一)-文本绘制 CoreText入门(二)-绘制图片 CoreText进阶(三)-事件处理 CoreText进阶(四)-文字行数限制和显示更多...

aron1992
12分钟前
0
0
Python爬虫 爬取百合网的女人们和男人们

学Python也有段时间了,目前学到了Python的类。个人感觉Python的类不应称之为类,而应称之为数据类型,只是数据类型而已!只是数据类型而已!只是数据类型而已!重要的事情说三篇。 据书上说...

p柯西
23分钟前
0
0
在Java中,你真的会日期转换吗

1.什么是SimpleDateFormat 在java doc对SimpleDateFormat的解释如下: SimpleDateFormatis a concrete class for formatting and parsing dates in a locale-sensitive manner. It allows fo......

Java小铺
32分钟前
0
0
Linux系统梳理---系统搭建(二):tomcat的安装和使用

上一章讲到JDK的安装使用,这一章主要记录下服务器tomcat的安装以及部署一个项目. 1.下载tomcat,这里下载的是apache-tomcat-8.5.32.tar.gz 2.创建文件夹,便于管理,和JDK一样,在usr目录下创建t...

勤奋的蚂蚁
43分钟前
0
0
ES15-聚合

1.Terms Aggregation 分组聚合 2.Filter Aggregation 过滤聚合

贾峰uk
44分钟前
0
0
【2018.07.19学习笔记】【linux高级知识 20.27-20.30】

20.27 分发系统介绍 20.28 expect脚本远程登录 20.29 expect脚本远程执行命令 20.30 expect脚本传递参数

lgsxp
47分钟前
0
0
10.32/10.33 rsync通过服务同步~10.35 screen工具

通过服务的方式同步要编辑配置文件:[root@linux-xl ~]# vim /etc/rsyncd.confport=873log file=/var/log/rsync.logpid file=/var/run/rsyncd.pidaddress=192.168.43.21[tes...

洗香香
50分钟前
0
0
与女儿谈商业模式 (3):沃尔玛的成功模式

分类:与女儿谈商业模式 | 标签: 经济学 沃尔玛 陈志武 2007-05-10 09:09阅读(11279)评论(30) 与女儿谈商业模式 (3):沃尔玛的成功模式 陈志武 /文 沃尔玛(Wal-Mart)是另一个有意思的财...

祖冲之
56分钟前
0
0
网页加载速度优化方法总结

1、减少请求 最大的性能漏洞就是一个页面需要发起几十个网络请求来获取诸如样式表、脚本或者图片这样的资源,这个在相对低带宽和高延迟的移动设备连接上来说影响更严重。 2、整合资源 对开发...

Jack088
今天
0
0
dubbo学习

https://blog.csdn.net/houshaolin/article/details/76408399

喵五郎
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部