文档章节

SQL Server 读批量文件txt数据入库

Contac
 Contac
发布于 2017/08/29 11:11
字数 114
阅读 29
收藏 0
点赞 0
评论 0
--创建表
USE [Test]
GO


CREATE TABLE [dbo].[AccountYh](
	[id] [int] NULL,
	[Account] [nvarchar](200) NULL,
	[Other] [nvarchar](2000) NULL
) ON [PRIMARY]

--------
SP_CONFIGURE 'show advanced options',1 
GO 
RECONFIGURE 
GO 

sp_configure 'xp_cmdshell',1 
GO 
RECONFIGURE 
GO

-------执行,注意修改@i(文件最大值),文件路径,插入的表名
declare @sql nvarchar(2000),@i int
select @sql='',@i=10
while @i>0 begin

set @sql='
Bulk insert [Test].[dbo].[AccountYh]
from ''D:\Visual Studio\test\logslis_'+convert(varchar,@i)+'.txt'' 
with  
(   
FIELDTERMINATOR = '':'',
ROWTERMINATOR = ''\n'',
MAXERRORS=100
)'  
exec(@sql)
set @i=@i-1

end

 

© 著作权归作者所有

共有 人打赏支持
Contac
粉丝 75
博文 144
码字总数 187566
作品 1
徐汇
程序员
高并发简单解决方案————redis队列缓存+mysql 批量入库(ThinkPhP)

问题分析 问题一:要求日志最好入库;但是,直接入库mysql确实扛不住,批量入库没有问题,done。【批量入库和直接入库性能差异】 问题二:批量入库就需要有高并发的消息队列,决定采用redis...

nsns ⋅ 05/18 ⋅ 0

【高并发简单解决方案】redis队列缓存 + mysql 批量入库 + php离线整合

需求背景:有个,要求存储到mysql中;存储数据高峰能达到日均千万,瓶颈在于。 问题分析 思考:应用网站架构的衍化过程中,应用最新的框架和工具技术固然是最优选择;但是,如果能在,未尝不...

太阳黑子 ⋅ 2016/10/28 ⋅ 0

.NET 多种数据库访问通用库 DbProviderFactory 更新

该库支持支持ado.net和ORM 基于entity framework 访问数据库,ado.net支持多种数据库访问,如:sql server,db2,oracle,mysql,access等多种数据库,提供批量入库bulkcopy方法实现,目的是针对大...

bouyeijiang ⋅ 2017/08/24 ⋅ 3

SpringSide 批量save 内存溢出

今天要做一个数据解析导入的功能,主要是解析一个100M左右的txt文件,然后按照相关规则封装成对象入库,一个文件大概有百万条的记录要入库,由于我使用的是SpringSide, 框架内也提供了相应的...

流云_CN ⋅ 2013/07/03 ⋅ 6

redis 队列同步到mysql 方案

用redis的队列,数据lpush进入,然后另外开个进程,while(true){brpop/rpop队列} 下面用php做示例: a.php 文件里的代码 b.php 文件里的代码,为减少连接次数,注意不要一条一条插入,可以达...

太阳黑子 ⋅ 2016/10/25 ⋅ 0

mysql分批次插入VS一次性插入

由于临近考试,需要从前端页面将整个学校的学生信息通过Excel导入到数据库中。导入3万数据,先是进行各种数据校验,然后才进行入库操作。ito401三张表,云平台一张表。结果运行不到一半页面就...

qq_26545305 ⋅ 2017/12/14 ⋅ 0

.net 多种关系型数据库通用连接池升级

该库支持支持ado.net和ORM 基于entity framework 访问数据库,ado.net支持多种数据库访问,如:sql server,db2,oracle,mysql,access等多种数据库,提供批量入库bulkcopy方法实现,目的是针对大...

bouyeijiang ⋅ 2017/08/28 ⋅ 0

SQL Servr 2008空间数据应用系列八:基于Bing Maps(Silverlight)的空间数据存储

友情提示,您阅读本篇博文的先决条件如下:   1、本文示例基于Microsoft SQL Server 2008 R2调测。   2、具备 Transact-SQL 编程经验和使用 SQL Server Management Studio 的经验。   ...

beniao ⋅ 2011/03/22 ⋅ 0

hadoop的一些记录

学习hadoop有几天了,记录一下心得。 初期的目标是: 1:数据采集的方式,以shell脚本为主,系统配置某一些文件夹,每个文件夹是一个采集器,这样的话,一旦发现有对应的文件,那么就调用s...

创意顽石 ⋅ 2015/07/15 ⋅ 0

搭建一个高可用负载均衡的集群架构(第一部分)

笔记内容:使用15台机器搭建一个高可用负载均衡的集群架构(第一部分) 笔记日期:2017.12.14 —— 2017.12.16 业务需求 用15台虚拟机搭建一个高可用负载均衡集群架构出来,并运行三个站点,...

ZeroOne01 ⋅ 2017/12/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

关于“幂等”操作

一个幂等(idempotent)操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同. 开发中, 我们经常考虑幂等操作的场景有“接口调用”、“MQ消费”、“自动任务”等 接口调用, 可能出现...

零二一七 ⋅ 4分钟前 ⋅ 0

Dubbo服务服务暴露之ProxyFactory Invoker

Dubbo服务暴露过程中有涉及到调用ProxyFactory 中方法获取Invoker对象的过程,现在我们来深究下源码,来看下这个过程是在做些什么,返回的Invoker 对象是什么,我们来看一下代码的切入点: ...

哲别0 ⋅ 19分钟前 ⋅ 0

GP两种连接方式性能测试

GP两种连接方式性能测试 Pivotal import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; public class GPQueryStrin......

仔仔1993 ⋅ 23分钟前 ⋅ 0

jsonrpc-4j代码解析

解析文件 AutoJsonRpcServiceImplExporter JsonServiceExporter AutoJsonRpcServiceImplExporter 路径:com.googlecode.jsonrpc4j.spring.AutoJsonRpcServiceImplExporter AutoJsonRpcServi......

郭恩洲_OSC博客 ⋅ 45分钟前 ⋅ 0

百度搜索

from selenium import webdriver import time brower=webdriver.Firefox() brower.get('http://www.baidu.com') input=brower.find_element_by_id('kw') input.send_keys('中南大学') time.s......

南桥北木 ⋅ 51分钟前 ⋅ 0

tomcat 日志记录器

1、日志记录器是记录消息的组件 日志记录器需要与某个servlet 容器相关联 2、Logger 接口 共定义了5种日志级别:FATAL、ERROR、WARNING、INFORMATION、DEBUGGER setVerbosity 设置级别 setC...

职业搬砖20年 ⋅ 53分钟前 ⋅ 0

Thrift RPC实战(三) Thrift序列化机制

1.Thrift基础架构 Thrift是一个客户端和服务端的架构体系,数据通过socket传输; 具有自己内部定义的传输协议规范(TProtocol)和传输数据标准(TTransports); 通过IDL脚本对传输数据的数据结构...

lemonLove ⋅ 53分钟前 ⋅ 0

网站建设就要像2018世界杯的俄罗斯队大杀四方[图]

今天心情不错,因为昨天晚上观看了世界杯比赛,尤其是对俄罗斯队的大杀四方感到十分霸气侧漏啊,因此我联想到了自己的博客网站,我的博客是去年年底上线的,一直想建设一个关于读书和读后感作...

原创小博客 ⋅ 今天 ⋅ 0

linux 信号机制

signal(SIGPIPE, SIG_IGN); TCP是全双工的信道, 可以看作两条单工信道, TCP连接两端的两个端点各负责一条. 当对端调用close时, 虽然本意是关闭整个两条信道, 但本端只是收到FIN包. 按照TCP协...

xxdd ⋅ 今天 ⋅ 0

my.cnf, my-small.cnf, my-medium.cnf, my-large.cnf

1. my-small.cnf # Example MySQL config file for small systems.## This is for a system with little memory (<= 64M) where MySQL is only used# from time to time and it's importa......

周云台 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部