文档章节

高效插入语句

浮躁的码农
 浮躁的码农
发布于 2015/08/25 13:28
字数 411
阅读 123
收藏 6
try {
            Connection conn = getConnection(TO_DRIVER,TO_URL,TO_USERNAME,TO_PASSWORD);
            conn.setAutoCommit(false);
            String sql = "insert into mc_stat_trends(clock,itemid,itemname,ip,num,value_min, value_avg, value_max) values(?,?,?,?,?,?,?,?)";
            PreparedStatement prst = conn.prepareStatement(sql);
            for (int i = 0; i < list.size(); i++) {  
                Map<String, Object> bean = list.get(i);
                //System.out.println(bean.toString());
                prst.setLong(1, Long.valueOf(bean.get("clock").toString()));
                prst.setLong(2, Long.valueOf(bean.get("itemId").toString()));
                prst.setString(3, String.valueOf(bean.get("itemName")));
                prst.setString(4, String.valueOf(bean.get("ip")));
                prst.setLong(5, Long.valueOf(bean.get("num").toString()));
                prst.setFloat(6, Float.valueOf(bean.get("value_min").toString()));
                prst.setFloat(7, Float.valueOf(bean.get("value_avg").toString()));
                prst.setFloat(8, Float.valueOf(bean.get("value_max").toString()));
                prst.addBatch();
                if(i >0 &&i%1000 == 0){
                    long startT = System.currentTimeMillis();
                    prst.executeBatch();
                    long endT = System.currentTimeMillis();
                    System.out.println("批量转存数据第["+i+"]条耗时"+(endT-startT)/1000+"S");
                }
            }
            prst.executeBatch();
            conn.commit();
            conn.close();
            prst.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }



1.2 结果输出

1.2.1 计算环境

1.2.3 计算结果

从控制台可以看出:平均每插入1000条消耗时间是:38S左右,如果照此计算:358*38=13604S

2.1改写后(拼接方式插入[insert table values(?,?,?),(?,?,?),(?,?,?)]案例)

try {
            Connection conn = getConnection(TO_DRIVER,TO_URL,TO_USERNAME,TO_PASSWORD);
            conn.setAutoCommit(false);
            String insertSql = "insert into mc_stat_trends(clock,itemid,itemname,ip,num,value_min,value_avg,value_max) values ";
            StringBuffer valBuffer = new StringBuffer();
            for (int i = 0; i < list.size(); i++) {
                Map<String, String> bean = list.get(i);
                valBuffer.append("(");
                valBuffer.append(Long.valueOf(bean.get("clock"))+",");
                valBuffer.append(Long.valueOf(bean.get("itemId"))+",");
                valBuffer.append("'"+String.valueOf(bean.get("itemName"))+"',");
                valBuffer.append("'"+String.valueOf(bean.get("ip"))+"',");
                valBuffer.append(Long.valueOf(bean.get("num"))+",");
                valBuffer.append(bean.get("value_min")+",");
                valBuffer.append(bean.get("value_avg")+",");
                valBuffer.append(bean.get("value_max"));
                valBuffer.append(")");
                if((i >0 &&i%200 == 0) || i==list.size()-1){//
                    //long startT = System.currentTimeMillis();
                    String sql = valBuffer.insert(0, insertSql).toString();
                    valBuffer.setLength(0);
                    //System.out.println(sql);
                    Statement stat = conn.createStatement();
                    stat.execute(sql);
                    //long endT = System.currentTimeMillis();
                    //System.out.println("批量转存数据第["+i+"]条耗时"+(endT-startT)/1000+"S");
                }else{
                    valBuffer.append(",");
                }
            }



2.2 结果输出

2.2.1 计算环境

2.2.3 计算结果

这个计算环境是本地机器()计算出的效果:从控制台可以看出:35W输入插入:需要:85S时间.在生产环境配置下插入效率更高效 如图:消耗时间只有:33-10=13S.

结论

越是封装的代码,它的使用会容易,但效率会降低。


本文转载自:http://my.oschina.net/guoenzhou/blog/351720

共有 人打赏支持
浮躁的码农

浮躁的码农

粉丝 65
博文 747
码字总数 146196
作品 0
松江
程序员
私信 提问
SQLite学习手册(实例代码)

三、高效的批量数据插入: 在给出操作步骤之前先简单说明一下批量插入的概念,以帮助大家阅读其后的示例代码。事实上,批量插入并不是什么新的概念,在其它关系型数据库的C接口API中都提供了...

涩女郎
2015/08/26
0
0
mysql select 原理

第一步:应用程序把查询SQL语句发给服务器端执行。 我们在数据层执行SQL语句时,应用程序会连接到相应的数据库服务器,把SQL语句发送给服务器处理。 第二步:服务器解析请求的SQL语句。 1:SQL计...

marjey
2016/12/17
7
0
java asm 框架 浅析

什么是asm呢?asm是assembly的缩写,是汇编的称号,对于java而言,asm就是字节码级别的编程。 而这里说到的asm是指objectweb asm,一种.class的代码生成器的开源项目. ASM是一套java字节码生成...

beibugulf
2016/10/31
16
0
mysql大量数据插入探讨(量变引起质变)

分类:见Visio图 关于大量数据导入是应注意以下几点: 分批导入,导入一批后最后提交(commit),可以使用jdbc的(executeBatch)批量处理但是注意它的最大上限,否则只会执行一部分sql语句,超...

soul_mate
2014/04/27
0
0
oracle sql 优化(三)

(23) 用>=替代> 高效: SELECT FROM EMP WHERE DEPTNO >=4 低效: SELECT FROM EMP WHERE DEPTNO >3 两者的区别在于, 前者DBMS将直接跳到第一个DEPT等于4的记录而后者将首先定位到DEPTNO=3的......

等待救赎
2016/03/02
26
0

没有更多内容

加载失败,请刷新页面

加载更多

Java 主要特性

Java 有下面的一些主要特性。 面向对象 在 Java 中,所有的都是对象。正式因为 Java 基于对象模型,所以 Java 更加容易进行扩展。 Java语言提供类、接口和继承等面向对象的特性,为了简单起见...

honeymose
46分钟前
1
0
【NLP】【五】gensim之Word2Vec

【一】整体流程综述 gensim底层封装了Google的Word2Vec的c接口,借此实现了word2vec。使用gensim接口非常方便,整体流程如下: 1. 数据预处理(分词后的数据) 2. 数据读取 3.模型定义与训练...

muqiusangyang
47分钟前
1
0
Python爬虫之网络请求

urllib库中常用函数的使用 安装 urllib库是安装python时自带的一个库,不需要再另外安装; 使用 #!/usr/bin/python3# -*- coding:utf-8 -*-# @Time : 2018-11-10 21:25# @Author : M...

村雨1943
今天
4
0
Linux学习-1030(定时任务、任务管理、)

10.23 linux任务计划cron 10.24 chkconfig工具 10.25 systemd管理服务 10.26 unit介绍 10.27 target介绍 扩展 1. anacron http://blog.csdn.net/strikers1982/article/details/478722 2. xin......

wxy丶
今天
3
0
git push origin与git push -u origin master的区别

$ git push origin 上面命令表示,将当前分支推送到origin主机的对应分支。 如果当前分支只有一个追踪分支,那么主机名都可以省略。 $ git push 如果当前分支与多个主机存在追踪关系,那么这...

clin003
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部