高效插入语句
高效插入语句
浮躁的码农 发表于2年前
高效插入语句
  • 发表于 2年前
  • 阅读 121
  • 收藏 6
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

try {
            Connection conn = getConnection(TO_DRIVER,TO_URL,TO_USERNAME,TO_PASSWORD);
            conn.setAutoCommit(false);
            String sql = "insert into mc_stat_trends(clock,itemid,itemname,ip,num,value_min, value_avg, value_max) values(?,?,?,?,?,?,?,?)";
            PreparedStatement prst = conn.prepareStatement(sql);
            for (int i = 0; i < list.size(); i++) {  
                Map<String, Object> bean = list.get(i);
                //System.out.println(bean.toString());
                prst.setLong(1, Long.valueOf(bean.get("clock").toString()));
                prst.setLong(2, Long.valueOf(bean.get("itemId").toString()));
                prst.setString(3, String.valueOf(bean.get("itemName")));
                prst.setString(4, String.valueOf(bean.get("ip")));
                prst.setLong(5, Long.valueOf(bean.get("num").toString()));
                prst.setFloat(6, Float.valueOf(bean.get("value_min").toString()));
                prst.setFloat(7, Float.valueOf(bean.get("value_avg").toString()));
                prst.setFloat(8, Float.valueOf(bean.get("value_max").toString()));
                prst.addBatch();
                if(i >0 &&i%1000 == 0){
                    long startT = System.currentTimeMillis();
                    prst.executeBatch();
                    long endT = System.currentTimeMillis();
                    System.out.println("批量转存数据第["+i+"]条耗时"+(endT-startT)/1000+"S");
                }
            }
            prst.executeBatch();
            conn.commit();
            conn.close();
            prst.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }



1.2 结果输出

1.2.1 计算环境

1.2.3 计算结果

从控制台可以看出:平均每插入1000条消耗时间是:38S左右,如果照此计算:358*38=13604S

2.1改写后(拼接方式插入[insert table values(?,?,?),(?,?,?),(?,?,?)]案例)

try {
            Connection conn = getConnection(TO_DRIVER,TO_URL,TO_USERNAME,TO_PASSWORD);
            conn.setAutoCommit(false);
            String insertSql = "insert into mc_stat_trends(clock,itemid,itemname,ip,num,value_min,value_avg,value_max) values ";
            StringBuffer valBuffer = new StringBuffer();
            for (int i = 0; i < list.size(); i++) {
                Map<String, String> bean = list.get(i);
                valBuffer.append("(");
                valBuffer.append(Long.valueOf(bean.get("clock"))+",");
                valBuffer.append(Long.valueOf(bean.get("itemId"))+",");
                valBuffer.append("'"+String.valueOf(bean.get("itemName"))+"',");
                valBuffer.append("'"+String.valueOf(bean.get("ip"))+"',");
                valBuffer.append(Long.valueOf(bean.get("num"))+",");
                valBuffer.append(bean.get("value_min")+",");
                valBuffer.append(bean.get("value_avg")+",");
                valBuffer.append(bean.get("value_max"));
                valBuffer.append(")");
                if((i >0 &&i%200 == 0) || i==list.size()-1){//
                    //long startT = System.currentTimeMillis();
                    String sql = valBuffer.insert(0, insertSql).toString();
                    valBuffer.setLength(0);
                    //System.out.println(sql);
                    Statement stat = conn.createStatement();
                    stat.execute(sql);
                    //long endT = System.currentTimeMillis();
                    //System.out.println("批量转存数据第["+i+"]条耗时"+(endT-startT)/1000+"S");
                }else{
                    valBuffer.append(",");
                }
            }



2.2 结果输出

2.2.1 计算环境

2.2.3 计算结果

这个计算环境是本地机器()计算出的效果:从控制台可以看出:35W输入插入:需要:85S时间.在生产环境配置下插入效率更高效 如图:消耗时间只有:33-10=13S.

结论

越是封装的代码,它的使用会容易,但效率会降低。


共有 人打赏支持
粉丝 45
博文 512
码字总数 134307
×
浮躁的码农
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: