文档章节

mysql导入数据load data infile用法

五大三粗
 五大三粗
发布于 2015/04/26 15:40
字数 2711
阅读 7
收藏 0
点赞 0
评论 0

我们常常导入数据!mysql有一个高效导入方法,那就是load data infile 下面来看案例说明

 

基本语法:
load data  [low_priority] [local] infile 'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name,   )]

load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前,mysqld进程(服务)必须已经在运行。为了安全原因,当读取位于服务器上的文本文件时,文件必须处于数据库目录或可被所有人读取。另外,为了对服务器上文件使用load data infile,在服务器主机上你必须有file的权限。
1  如果你指定关键词low_priority 那么MySQL将会等到没有其他人读这个表的时候,才把插入数据。可以使用如下的命令: 
load data  low_priority infile "/home/mark/data sql" into table Orders;
 
2  如果指定local关键词,则表明从客户主机读文件。如果local没指定,文件必须位于服务器上。
 
3  replaceignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace,新行将代替有相同的唯一键值的现有行。如果你指定ignore,跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项,当找到重复键时,出现一个错误,并且文本文件的余下部分被忽略。例如:
load data  low_priority infile "/home/mark/data sql" replace into table Orders;
 
分隔符
(1) fields关键字指定了文件记段的分割格式,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项: 
terminated by 分隔符:意思是以什么字符作为分隔符
enclosed by字段括起字符
escaped by转义字符
terminated by 描述字段的分隔符,默认情况下是tab字符(\t) 
enclosed by描述的是字段的括起字符。

escaped by描述的转义字符。默认的是反斜杠(backslash:\ )  
例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"';
(2)lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符
如果两个字段都指定了那fields必须在lines之前。如果不指定fields关键字缺省值与如果你这样写的相同: fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
如果你不指定一个lines子句,缺省值与如果你这样写的相同: lines terminated by'\n'
例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n';
 load data infile 可以按指定的列把文件导入到数据库中。 当我们要把数据的一部分内容导入的时候,,需要加入一些栏目(列/字段/field)到MySQL数据库中,以适应一些额外的需要。比方说,我们要从Access数据库升级到MySQL数据库的时候
下面的例子显示了如何向指定的栏目(field)中导入数据: 
load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID);
 当在服务器主机上寻找文件时,服务器使用下列规则:  
1)如果给出一个绝对路径名,服务器使用该路径名。
 
2)如果给出一个有一个或多个前置部件的相对路径名,服务器相对服务器的数据目录搜索文件。
  
3)如果给出一个没有前置部件的一个文件名,服务器在当前数据库的数据库目录寻找文件。  
例如: /myfile txt”给出的文件是从服务器的数据目录读取,而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。
 
 
注意:字段中的空值用\N表示


我的文章一般浅显易懂,不会搞那么深入让大家很难理解。(其实我水平也不咋样)

LOAD DATA INFILE 一直被认为是MySQL很强大的一个数据导入工具,因为他速度非常的快。
不过有几个问题一定要注意
1、编码。
2、灵活导入导出。

我来举两个例子说明一下。
一、关于编码
我们的示例文本文件:
"我爱你","20","相貌平常,经常耍流氓!哈哈"
"李奎","21","相貌平常,经常耍流氓!哈哈"
"王二米","20","相貌平常,经常耍流氓!哈哈"
"老三","24","很强"
"老四","34","XXXXX"
"老五","52","***%*¥*¥*¥*¥"
"小猫","45","中间省略。。。"
"小狗","12","就会叫"
"小妹","21","PP的很"
"小坏蛋","52","表里不一"
"上帝他爷","96","非常英俊"
"MM来了","10","。。。"
"歌颂党","20","社会主义好"
"人民好","20","的确是好"
"老高","10","学习很好"
"斜三","60","眼睛斜了"
"中华之子","100","威武的不行了"
"大米","63","我爱吃"
"苹果","15","好吃"
我们的示例表结构:


+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                          |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t0    | CREATE TABLE `t0` (
  `id` bigint(20) unsigned NOT NULL auto_increment,
  `name` char(20) NOT NULL,
  `age` tinyint(3) unsigned NOT NULL,
  `description` text NOT NULL,
  PRIMARY KEY  (`id`),
  UNIQUE KEY `idx_name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 | 
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)


我们把这个文本文件从WINDOWS 下COPY到LINUX下看看


mysql> load data infile '/tmp/t0.txt' ignore into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`);
Query OK, 19 rows affected (0.01 sec)
Records: 19  Deleted: 0  Skipped: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name     | age | description                |
+----+----------+-----+----------------------------+
|  1 | 我爱你   |  20 | 相貌平常,经常耍流氓!哈哈 | 
|  2 | 李奎     |  21 | 相貌平常,经常耍流氓!哈哈 | 
|  3 | 王二米   |  20 | 相貌平常,经常耍流氓!哈哈 | 
|  4 | 老三     |  24 | 很强                       | 
|  5 | 老四     |  34 | XXXXX                      | 
|  6 | 老五     |  52 | ***%*¥*¥*¥*¥           | 
|  7 | 小猫     |  45 | 中间省略。。。             | 
|  8 | 小狗     |  12 | 就会叫                     | 
|  9 | 小妹     |  21 | PP的很                     | 
| 10 | 小坏蛋   |  52 | 表里不一                   | 
| 11 | 上帝他爷 |  96 | 非常英俊                   | 
| 12 | MM来了   |  10 | 。。。                     | 
| 13 | 歌颂党   |  20 | 社会主义好                 | 
| 14 | 人民好   |  20 | 的确是好                   | 
| 15 | 老高     |  10 | 学习很好                   | 
| 16 | 斜三     |  60 | 眼睛斜了                   | 
| 17 | 中华之子 | 100 | 威武的不行了               | 
| 18 | 大米     |  63 | 我爱吃                     | 
| 19 | 苹果     |  15 | 好吃                       | 
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)

我来说明一下相关的参数
关于我的导入语句,我现在直说两个,其他的参考手册。
character set gbk;

这个字符集一定要写,要不然就会乱码或者只导入一部分数据。


ignore into table 


因为name 列加了唯一索引,加这个是为了避免重复数据插入报错。

加入我们再次运行这个导入语句就会发现
Query OK, 0 rows affected (0.00 sec)
Records: 19  Deleted: 0  Skipped: 19  Warnings: 0
没有任何值导入,因为里面已经有了相同的值。

这里也可以用replace into table
MySQL会把相同的先干掉,再插入新的值。
mysql> load data infile '/tmp/t0.txt' replace into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`);
Query OK, 38 rows affected (0.00 sec)
Records: 19  Deleted: 19  Skipped: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name     | age | description                |
+----+----------+-----+----------------------------+
| 20 | 我爱你   |  20 | 相貌平常,经常耍流氓!哈哈 | 
| 21 | 李奎     |  21 | 相貌平常,经常耍流氓!哈哈 | 
| 22 | 王二米   |  20 | 相貌平常,经常耍流氓!哈哈 | 
| 23 | 老三     |  24 | 很强                       | 
| 24 | 老四     |  34 | XXXXX                      | 
| 25 | 老五     |  52 | ***%*¥*¥*¥*¥           | 
| 26 | 小猫     |  45 | 中间省略。。。             | 
| 27 | 小狗     |  12 | 就会叫                     | 
| 28 | 小妹     |  21 | PP的很                     | 
| 29 | 小坏蛋   |  52 | 表里不一                   | 
| 30 | 上帝他爷 |  96 | 非常英俊                   | 
| 31 | MM来了   |  10 | 。。。                     | 
| 32 | 歌颂党   |  20 | 社会主义好                 | 
| 33 | 人民好   |  20 | 的确是好                   | 
| 34 | 老高     |  10 | 学习很好                   | 
| 35 | 斜三     |  60 | 眼睛斜了                   | 
| 36 | 中华之子 | 100 | 威武的不行了               | 
| 37 | 大米     |  63 | 我爱吃                     | 
| 38 | 苹果     |  15 | 好吃                       | 
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)


 (`name`,`age`,`description`);

这些也就是具体的表属性了,指明这个就可以导入想要的数据。
2、关于灵活性,其实也就是一个记录功能
如果想在导入的时候记录一下导入的具体时间怎么办?
我们来看看
先加一个时间属性记录导入时间。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Duplicates: 0  Warnings: 0
干掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Duplicates: 0  Warnings: 0


mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`) set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Deleted: 0  Skipped: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name     | age | description                | update_time         |
+----+----------+-----+----------------------------+---------------------+
| 20 | 我爱你   |  20 | 相貌平常,经常耍流氓!哈哈 | 0000-00-00 00:00:00 | 
…………
| 24 | 老四     |  34 | XXXXX                      | 0000-00-00 00:00:00 | 
| 25 | 老五     |  52 | ***%*¥*¥*¥*¥           | 0000-00-00 00:00:00 | 
…………
| 35 | 斜三     |  60 | 眼睛斜了                   | 0000-00-00 00:00:00 | 
| 36 | 中华之子 | 100 | 威武的不行了               | 0000-00-00 00:00:00 | 
…………
| 60 | 王二米   |  20 | 相貌平常,经常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
…………
| 68 | 上帝他爷 |  96 | 非常英俊                   | 2008-06-30 14:58:37 | 
| 69 | MM来了   |  10 | 。。。                     | 2008-06-30 14:58:37 | 
…………
| 75 | 大米     |  63 | 我爱吃                     | 2008-06-30 14:58:37 | 
| 76 | 苹果     |  15 | 好吃                       | 2008-06-30 14:58:37 | 
+----+----------+-----+----------------------------+---------------------+
38 rows in set (0.00 sec)


新导入的19条记录时间被记录了下来。
只是之前的数据库没有记录,不过现在不需要这些重复数据了。

干掉他就可以了


mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38  Duplicates: 0  Warnings: 0

mysql> alter ignore table t0 add unique index idx_name (`name`);
Query OK, 38 rows affected (0.00 sec)
Records: 38  Duplicates: 19  Warnings: 0

mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19  Duplicates: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name     | age | description                | update_time         |
+----+----------+-----+----------------------------+---------------------+
| 58 | 我爱你   |  20 | 相貌平常,经常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
| 59 | 李奎     |  21 | 相貌平常,经常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
| 60 | 王二米   |  20 | 相貌平常,经常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
| 61 | 老三     |  24 | 很强                       | 2008-06-30 14:58:37 | 
| 62 | 老四     |  34 | XXXXX                      | 2008-06-30 14:58:37 | 
| 63 | 老五     |  52 | ***%*¥*¥*¥*¥           | 2008-06-30 14:58:37 | 
| 64 | 小猫     |  45 | 中间省略。。。             | 2008-06-30 14:58:37 | 
| 65 | 小狗     |  12 | 就会叫                     | 2008-06-30 14:58:37 | 
| 66 | 小妹     |  21 | PP的很                     | 2008-06-30 14:58:37 | 
| 67 | 小坏蛋   |  52 | 表里不一                   | 2008-06-30 14:58:37 | 
| 68 | 上帝他爷 |  96 | 非常英俊                   | 2008-06-30 14:58:37 | 
| 69 | MM来了   |  10 | 。。。                     | 2008-06-30 14:58:37 | 
| 70 | 歌颂党   |  20 | 社会主义好                 | 2008-06-30 14:58:37 | 
| 71 | 人民好   |  20 | 的确是好                   | 2008-06-30 14:58:37 | 
| 72 | 老高     |  10 | 学习很好                   | 2008-06-30 14:58:37 | 
| 73 | 斜三     |  60 | 眼睛斜了                   | 2008-06-30 14:58:37 | 
| 74 | 中华之子 | 100 | 威武的不行了               | 2008-06-30 14:58:37 | 
| 75 | 大米     |  63 | 我爱吃                     | 2008-06-30 14:58:37 | 
| 76 | 苹果     |  15 | 好吃                       | 2008-06-30 14:58:37 | 
+----+----------+-----+----------------------------+---------------------+
19 rows in set (0.00 sec)

现在是达到了目的了,为啥中途要干掉唯一索引呢?因为set 语法 再有IGNORE 的时候会忽略掉。

© 著作权归作者所有

共有 人打赏支持
五大三粗
粉丝 156
博文 892
码字总数 4545120
作品 0
广州
程序员
MySQL数据导入导出方法与工具(2)

批处理导入文件,从sql文件导入数据到数据库中 ,批处理是一种非交互式运行mysql程序的方法,如同您在mysql中使用的命令一样,你仍然将使用这些命令。 为了实现批处理,您重定向一个文件到m...

iTeacher ⋅ 2011/12/10 ⋅ 0

MySql批量数据导入Load data infile解决方案

有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间。 ...

小小人故事 ⋅ 2015/11/25 ⋅ 0

mysql Load Data InFile 的用法

首先创建一个表 Use Test; Create Table TableTest( mediumint(8) default '0', varchar(100) default '' ) TYPE=MyISAM; 向数据表导入数据 Load Data InFile 'C:/Data.txt' Into Table 常用......

木子丰 ⋅ 2014/01/22 ⋅ 0

MySQL数据库命令行常用命令

介绍一些MySQL数据库的命令行常用的一些命令,包括启动和停止服务,用户登录,用户管理以及常用的批处理命令的使用等. mysql服务的启动和停止 net stop mysql net start mysql 登陆mysql mys...

开心303 ⋅ 2011/08/03 ⋅ 0

MySQL中使用load data命令实现数据导入的方法

MySQL支持load data命令的数据导入,该方式比直接的insert的效率要高,按照官方的说法是要比insert语句快上20倍 使用方式如下: 代码如下: mysql>load data local infile "D:/ab.txt" into t...

jrytsqd ⋅ 2013/10/23 ⋅ 4

在Hibernate中用PostgreSQL的COPY API

PostgreSQL有一个用于高速导入导出数据的COPY 命令,使用JDBC可以调用,但是在Hibernate中调用要麻烦一些,这是Hibernate4.1下用c3p0连接池时的调用方法: public CopyManager getCopyManage...

SunLee ⋅ 2012/11/26 ⋅ 2

mysql中如何提高大表之间复制效率

假如目前有个日志总表logsa,一周大概产生500W左右日志,按天分区,现在想把这个表中数据复制到另一表logsb还是按天分,两表的结构不同。 我们使用下面这种方式做的拷贝: Insert into logs...

SANSOM ⋅ 2013/08/18 ⋅ 0

mysqldump 数据库备份

mysqldump:数据库备份程序 有3种方式来调用mysqldump: mysqldump [options] db_name [tables]mysqldump [options] ---database DB1 [DB2 DB3...]mysqldump [options] --all--database 如果......

北海vs ⋅ 2016/06/08 ⋅ 0

[转]Excel导入到MySQL

参考网页+ http://www.cnblogs.com/latifrons/archive/2012/09/07/2675141.html+ http://my.oschina.net/xsh1208/blog/470245 引言 为了从 MSSQL (MS SQL server 2008r2) 转移数据库到 MySQ......

不避风云 ⋅ 2016/05/21 ⋅ 0

mysql 导入导出大数据sql文件

导出Sql文件 ----在导出时合理使用几个参数,可以大大加快导入的速度。 使用包括几个VALUES列表的多行INSERT语法; 客户端/服务器之间通信的缓存区的最大大小; TCP/IP和套接字通信缓冲区大小,...

-悟空- ⋅ 2015/05/08 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

tcp/ip详解-链路层

简介 设计链路层的目的: 为IP模块发送和接收IP数据报 为ARP模块发送ARP请求和接收ARP应答 为RARP模块发送RARP请求和接收RARP应答 TCP/IP支持多种链路层协议,如以太网、令牌环往、FDDI、RS-...

loda0128 ⋅ 今天 ⋅ 0

spring.net aop代码例子

https://www.cnblogs.com/haogj/archive/2011/10/12/2207916.html

whoisliang ⋅ 今天 ⋅ 0

发送短信如何限制1小时内最多发送11条短信

发送短信如何限制1小时内最多发送11条短信 场景: 发送短信属于付费业务,有时为了防止短信攻击,需要限制发送短信的频率,例如在1个小时之内最多发送11条短信. 如何实现呢? 思路有两个 截至到当...

黄威 ⋅ 昨天 ⋅ 0

mysql5.7系列修改root默认密码

操作系统为centos7 64 1、修改 /etc/my.cnf,在 [mysqld] 小节下添加一行:skip-grant-tables=1 这一行配置让 mysqld 启动时不对密码进行验证 2、重启 mysqld 服务:systemctl restart mysql...

sskill ⋅ 昨天 ⋅ 0

Intellij IDEA神器常用技巧六-Debug详解

在调试代码的时候,你的项目得debug模式启动,也就是点那个绿色的甲虫启动服务器,然后,就可以在代码里面断点调试啦。下面不要在意,这个快捷键具体是啥,因为,这个keymap是可以自己配置的...

Mkeeper ⋅ 昨天 ⋅ 0

zip压缩工具、tar打包、打包并压缩

zip 支持压缩目录 1.在/tmp/目录下创建目录(study_zip)及文件 root@yolks1 study_zip]# !treetree 11└── 2 └── 3 └── test_zip.txt2 directories, 1 file 2.yum...

蛋黄Yolks ⋅ 昨天 ⋅ 0

聊聊HystrixThreadPool

序 本文主要研究一下HystrixThreadPool HystrixThreadPool hystrix-core-1.5.12-sources.jar!/com/netflix/hystrix/HystrixThreadPool.java /** * ThreadPool used to executed {@link Hys......

go4it ⋅ 昨天 ⋅ 0

容器之上传镜像到Docker hub

Docker hub在国内可以访问,首先要创建一个账号,这个后面会用到,我是用126邮箱注册的。 1. docker login List-1 Username不能使用你注册的邮箱,要用使用注册时用的username;要输入密码 ...

汉斯-冯-拉特 ⋅ 昨天 ⋅ 0

SpringBoot简单使用ehcache

1,SpringBoot版本 2.0.3.RELEASE ①,pom.xml <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.0.3.RELE......

暗中观察 ⋅ 昨天 ⋅ 0

Spring源码解析(八)——实例创建(下)

前言 来到实例创建的最后一节,前面已经将一个实例通过不同方式(工厂方法、构造器注入、默认构造器)给创建出来了,下面我们要对创建出来的实例进行一些“加工”处理。 源码解读 回顾下之前...

MarvelCode ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部