文档章节

hive load insert

hblt-j
 hblt-j
发布于 2018/12/12 11:29
字数 1480
阅读 66
收藏 0

本文主要是翻译Hive官网关于Load的解释,原文来源于:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables

介绍
Hive Load语句不会在加载数据的时候做任何转换工作,而是纯粹的把数据文件复制/移动到Hive表对应的地址。

语法
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]
1
描述
filepath 可以是: 
相对路径,如project/data1
绝对路径,如/user/hive/project/data1
完整的URL,如hdfs://namenode:9000/user/hive/project/data1
目标可以是一个表或是一个分区。如果目标表是分区表,必须指定是要加载到哪个分区。
filepath 可以是一个文件,也可以是一个目录(会将目录下的所有文件都加载)。
如果命令中带LOCAL,表示: 
load命令从本地文件系统中加载数据,可以是相对路径,也可以是绝对路径。对于本地文件系统,也可以使用完整的URL,如file:///user/hive/project/data1
load命令会根据指定的本地文件系统中的filepath复制文件到目标文件系统,然后再移到对应的表
如果命令中没有LOCAL,表示从HDFS加载文件,filepath可以使用完整的URL方式,或者使用fs.default.name定义的值
命令带OVERWRITE时加载数据之前会先清空目标表或分区中的内容,否则就是追加的方式。
--------------------- 

insert 语法格式为:

1. 基本的插入语法:

insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;

insert into table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;

eg:

insert overwrite table test_insert select * from test_table;
insert into table test_insert select * from test_table;

注:
overwrite重写,into追加。

 

2. 对多个表进行插入操作:

from source_table
insert overwrite table tablename1 [partition (partcol1=val1,partclo2=val2)] select_statement1
insert overwrite table tablename2 [partition (partcol1=val1,partclo2=val2)] select_statement2

eg:

from test_table                     
insert overwrite table test_insert1 
select key
insert overwrite table test_insert2
select value;

注:hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中,数据一旦导入就不可以修改。


2.通过查询将数据保存到filesystem

insert overwrite [local] directory 'directory' select_statement;

eg:

(1)导入数据到本地目录:

insert overwrite local directory '/home/hadoop/data' select * from test_insert1;

产生的文件会覆盖指定目录中的其他文件,即将目录中已经存在的文件进行删除。

只能用overwrite,into错误!

(2)导出数据到HDFS中:

insert overwrite directory '/user/hive/warehouse/table' select value from test_table;
只能用overwrite,into错误!

(3)同一个查询结果可以同时插入到多个表或者多个目录中:

from source_table
insert overwrite local directory '/home/hadoop/data' select * 
insert overwrite directory '/user/hive/warehouse/table' select value;

 

3. 小结:

(1)insert命令主要用于将hive中的数据导出,导出的目的地可以是hdfs或本地filesysytem,导入什么数据在于书写的select语句。

(2)overwrite与into:

insert overwrite/intotable可以搭配;

insert overwritedirectory可以搭配;

Hive 加载数据主要有两种方式,一种是用Load直接加载文件,可以是从本地文件系统,也可以是从HDFS文件系统;Load方式不做任何的转换,只是纯粹的文件复制移动,关于Load加载详情,请见我的另一篇文章: http://blog.csdn.net/post_yuan/article/details/62883565

除了Load加载数据,Hive也支持Insert命令,下面就来详细介绍Hive不同的版本在Insert方面的支持和改进,

标准语法
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;
1
2
3
高级语法(Multiple Inserts)
FROM from_statement
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];
1
2
3
4
高级语法(Dynamic Partition Inserts)
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
1
2
描述
INSERT OVERWRITE会覆盖表或分区中已存在的数据
INSERT INTO以追加数据的方式插入到表或分区,原有数据不会删除
Insert可以插入表或分区,如果表是分区表,则Insert时需要指定插入到哪个分区
从Hive 1.1.0版本,TABLE关键字是可选的
从Hive 1.2.0版本,INSERT INTO可以指定插入到哪些字段中,如INSERT INTO t(x,y,z)
动态分区插入
当INSERT往分区表插入数据时,我们可以指定分区字段名和值,分区字段的值是可选的,如果指定分区字段值,我们称之为静态分区,否则称之为动态分区。动态分区创建根据插入数据的列决定。在Hive 0.9.0版本以前,动态分区插入默认是关闭的,在Hive 0.9.0版本及更高版本,默认是打开的。关于动态分区插入,有几个相关的配置:

参数    默认值    注释
hive.exec.dynamic.partition    true    设置为true表示启用动态分区插入
hive.exec.dynamic.partition.mode    strict    strict模式时用户必须至少指定一个静态分区;nonstrict模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode    100    每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions    1000    总共允许创建的最大动态分区数
hive.exec.max.created.files    100000    一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partition    false    当动态分区插入产生空值时是否抛出异常
从查询语句写入到文件系统
Hive支持从查询语句直接写入到文件系统,此处不做详细介绍

INSERT VALUES
Hive 0.14版本开始,支持INSERT…VALUES语法,具体语法如下,

INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]

values_row:
(value [, value ...])
value可以为null或者任意SQL语法

本文转载自:https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy7FyBgQ-V-xyLVBCPpmXazuuSdKpCMIsLu1QM0fDTYbbL8...

hblt-j
粉丝 24
博文 218
码字总数 73000
作品 0
海淀
架构师
私信 提问
加载中

评论(1)

hblt-j
hblt-j 博主
向HBase写
insert OVERWRITE table hive_hbase_anqi select salary,dtime,sdecimal,sname,svisible from sample_09;
将Hive普通表sample_09中的数据导入Hive外部表anqi中,去HBase中查看,可以看到数据被正确导入。
Hive四种数据导入方式:从本地文件系统中导入数据到Hive表;从HDFS上导入数据到Hive表;从别的表中查询出相应的数据并导入到Hive表中;在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
向HBase写不是很方便。

三、数据存储在HBase中,使用Impala执行SQL语句
在Impala中执行INVALIDATE METADATA 、REFRESH table_name语句便可让 Impala识别在Hive中新建的或已发生变动的表。

Ⅰ、从HBase读
Hive中建立的表,impala可以直接读取使用。执行复杂SQL语句时,impala明显比hive快很多。
同样的,我们选择上面(一.2)节中的典型SQL语句进行验证,Impala-SQL均可以快速正确的返回结果,结果与Hive-SQL执行结果一致。

Ⅱ、向HBase写
Impala的插入数据SQL语句与Hive相差很大,Impala更接近标准SQL。

普通添加一行
insert into hive_hbase_anqi values(0,'1999-09-09',8.88,'name',true);
通过执行此语句,可以向HBase中添加一行数据。注意values里的顺序,id首位,其它列按列名称排序。
从HBase其他表导入
insert into hive_hbase_anqi(id,name,cdate) select id,name,udate from hive_hbase_xi;
通过执行此语句,可以向HBase中添加一批从hive_hbase_xi表中取到的数据。
往HIVE表中导入导出数据的几种方式详解

一:往HIVE表中导入导出数据 语法结构:[ ]带括号的表示可选择字段 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)......

qq_26442553
2018/03/08
0
0
hive学习总结(1)—Hive几种数据导入方式

1.从本地文件系统中导入数据到hive表 (1)数据准备(/home/sopdm/test.dat): 1,wyp,25,13188888888 2,test,30,13899999999 3,zs,34,89931412 (2)首先创建表 use sopdm; drop table if e...

vieky
2014/12/02
71
0
Hive 常用的 SQL 命令行操作 -- delete

创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW......

xrzs
2012/08/22
0
0
Hive学习总结之三:HiveQL介绍DML

第二部分:DML DML包含如下操作: •向数据表内加载文件 •LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] Load ......

酷帅CoolBash
2013/01/30
262
0
Hive几种数据导入方式

1.从本地文件系统中导入数据到hive表 (1)数据准备(/home/sopdm/test.dat): 1,wyp,25,131888888882,test,30,138999999993,zs,34,89931412 (2)首先创建表use sopdm;drop table if exist...

qhaiyan
2016/12/03
18
0

没有更多内容

加载失败,请刷新页面

加载更多

采坑指南——k8s域名解析coredns问题排查过程

正文 前几天,在ucloud上搭建的k8s集群(搭建教程后续会发出)。今天发现域名解析不了。 组件版本:k8s 1.15.0,coredns:1.3.1 过程是这样的: 首先用以下yaml文件创建了一个nginx服务 apiV...

码农实战
26分钟前
3
0
【2019年8月版本】OCP 071认证考试最新版本的考试原题-第6题

choose three Which three statements are true about indexes and their administration in an Orade database? A) An INVISIBLE index is not maintained when Data Manipulation Language......

oschina_5359
28分钟前
4
0
阿里巴巴开源 Dragonwell JDK 最新版本 8.1.1-GA 发布

导读:新版本主要有三大变化:同步了 OpenJDK 上游社区 jdk8u222-ga 的最新更新;带来了正式的 feature:G1ElasticHeap;发布了用户期待的 Windows 实验版本 Experimental Windows version。...

阿里巴巴云原生
34分钟前
3
0
教你玩转Linux—磁盘管理

Linux磁盘管理好坏直接关系到整个系统的性能问题,Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能:检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少...

xiangyunyan
37分钟前
6
0
js 让textarea的高度自适应父元素的高度

textarea按照普通元素设置height是没有作用的,可以这么来设置, 下面给上一段项目代码 JS代码: $.fn.extend({ txtaAutoHeight: function () { return this.each(function () {...

文文1
37分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部