文档章节

快速读取TXT几百万行数据, 然后插入到数据,SqlBulkCopy功能的确是有效率

o
 osc_bkdv2it5
发布于 2019/08/19 16:03
字数 175
阅读 7
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

public static void Main(string[] args)
        {
            string strPath = "F:\\Download\\600.txt";
            int lines = 1;
            Console.WriteLine("正在读取行数...."+DateTime.Now.ToString());
            DataTable dt = new DataTable();
            dt.Columns.Add("ID", System.Type.GetType("System.Int32"));
            dt.Columns.Add("UserName",System.Type.GetType("System.String"));            
            dt.Columns.Add("Password", System.Type.GetType("System.String"));
            dt.Columns.Add("Email", System.Type.GetType("System.String"));

            using (var sr = new StreamReader(strPath))
            {
                var ls = "";
                while ((ls = sr.ReadLine()) != null)
                {
                    if (ls.Contains("#"))
                    {
                        string[] templine = ls.Split('#');
                        if (templine.Length == 3)
                        {
                            DataRow item = dt.NewRow();
                            item["ID"] = lines;
                            item["UserName"] = templine[0].Trim();
                            item["Password"] = templine[1].Trim();
                            item["Email"] = templine[2].Trim();
                            dt.Rows.Add(item);
                            lines++;
                        }
                    }
                }
            }

            if (dt.Rows.Count > 0)
            {
                string strConnection = "server=localhost;database=Data;uid=sa;pwd=123456;Connect Timeout=50000";
                SqlBulkCopyInsert(strConnection, "tb_csdn_data", dt);
            }

            Console.WriteLine("结束读取行数" + dt.Rows.Count + "...." + DateTime.Now.ToString());
            Console.ReadLine();
        }

        public static void SqlBulkCopyInsert(string strConnection, string strTableName, DataTable dt)
        {
            try
            {
                using (SqlBulkCopy sqlRevdBulkCopy = new SqlBulkCopy(strConnection))
                {
                    sqlRevdBulkCopy.BulkCopyTimeout = 50000;
                    sqlRevdBulkCopy.DestinationTableName = strTableName; 
                    sqlRevdBulkCopy.NotifyAfter = dt.Rows.Count;
                    sqlRevdBulkCopy.WriteToServer(dt);
                    sqlRevdBulkCopy.Close(); 
                }
            }
            catch (Exception ex)
            {
                throw (ex);
            }
        }

  

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
Excel导入数据库百万级数据瞬间插入

前言 之前公司有个需求,导入几十万的数据,需要从excel读取出来,再把重复的项合并起来导入数据库,当时用程序写的非常慢,光读取数据半小时都下不来,感觉自己写的程序太渣了. 思路 1.将Excel文件...

osc_nd4uekgu
2019/05/30
11
0
C#如何把百万级的excel数据导入到sqlserver数据库中去

想来大家都有这样的生活常识,一个正常人一顿能吃三个拳头大小的馒头,但是你让他一次性吃三百个馒头,那他撑不死我就表演胸口碎大石… 好了,我们言归正传,在我们处理一个有好几十万条数据...

osc_mzickfah
06/21
3
0
sqlbulkcopy 批量插入数据

批量插入 Datetable数据 通过sqlbulkcopy 插入1百万条数据 用时 10秒钟 (有兴趣的小伙伴可以去测试) 1 /// <summary> 2 /// 3 /// </summary> 4 /// <param name="connectionStr">连接字符串......

osc_2qjd9tjg
2019/01/18
1
0
sql server 使用SqlBulkCopy批量插入数据库

sql server sqlbulkcopy 批量数据插入数据库使用的是System.Data.SqlClient中的 SqlBulkCopy批量数据插入数据库 sql server 使用SqlBulkCopy批量插入数据库 SqlBulkCopy位于位于命名空间Sys...

osc_ovsx5e3f
2019/05/14
2
0
.net core利用MySqlBulkLoader大数据批量导入MySQL

最近用core写了一个数据迁移小工具,从SQLServer读取数据,加工后导入MySQL,由于数据量太过庞大,数据表都过百万,常用的dapper已经无法满足。三大数据库都有自己的大数据批量导入数据的方式...

osc_yo4ttf5q
2018/03/06
8
0

没有更多内容

加载失败,请刷新页面

加载更多

聊聊dubbo-go的AccessLogFilter

序 本文主要研究一下dubbo-go的AccessLogFilter AccessLogFilter dubbo-go-v1.4.2/filter/filter_impl/access_log_filter.go type AccessLogFilter struct {logChan chan AccessLogData}......

go4it
昨天
24
0
对服务与工厂感到困惑 - Confused about Service vs Factory

问题: As I understand it, when inside a factory I return an object that gets injected into a controller. 据我了解,当在工厂内部时,我返回一个被注入控制器的对象。 When inside a ...

技术盛宴
昨天
19
0
OpenCV开发笔记(六十七):红胖子8分钟带你深入了解特征点暴力匹配(图文并茂+浅显易懂+程序源码)

若该文为原创文章,未经允许不得转载 原博主博客地址:https://blog.csdn.net/qq21497936 原博主博客导航:https://blog.csdn.net/qq21497936/article/details/102478062 本文章博客地址:h...

红模仿_红胖子
昨天
24
0
将向量附加到向量[重复] - Appending a vector to a vector [duplicate]

问题: This question already has an answer here: 这个问题已经在这里有了答案: Concatenating two std::vectors 22 answers 连接两个std :: vectors 22个答案 Assuming I have 2 standa......

javail
昨天
19
0
获得所有文件夹的大小

有两个工具 https://www.getfoldersize.com/ http://www.uderzo.it/main_products/space_sniffer/index.html...

ethanleellj
昨天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部