文档章节

Hive导入导出数据

Mist_
 Mist_
发布于 2016/12/30 14:32
字数 356
阅读 29
收藏 0

Hive导入导出数据

hive导入数据的几种方式

1. 加载本地文件到Hive表

load data local inpath 'path/file' into table 表名称 ;

2. 加载HDFS文件到Hive表

load data inpath 'path/file' into table 表名称 ;

3. 加载数据覆盖表中已有的数据

load data local inpath 'path/file' overwrite into table 表名称 ;

4. 创建表时通过select加载( 也可以换位某几个字段,创建时直接导入数据)*

create table emp_as as select * from emp ;

5. 用insert命令加载(先要创建好表,然后再写入数据)

应用场景:把用select命令分析的结果写入某个临时表
注意:导入的数据的表的列数和列的类型要保持一致
insert into table 表名 select * from emp ;
insert overwrite table 表名 select * from emp ;
           append 追加写入   --默认
       overwrite 覆盖写入	--使用最多(没有into)

6. 创建表的时候通过location指定加载

create table 表名(
……
)
partitioned by 		--注意顺序
row format ..
location "" ;

hive导出数据的方式

1. insert..local directory导出到本地

insert overwrite local diretory "path/" select ....
> insert overwrite local directory '/opt/modules/mydata'
> row format delimited fields terminated by '\t' 
> select * from student;

2. insert..directory导出到HDFS(注意没有分割的那一句,默认是空格分割)

insert overwrite directory "path/" select * from emp ;

3. hive -e把查询结果导出到一个指定文件

bin/hive -e 'select * from student'>tab.txt

4. sqoop工具

Hive表数据 --> mysql表

© 著作权归作者所有

Mist_
粉丝 3
博文 2
码字总数 1598
作品 0
洛阳
私信 提问
Sqoop 增量导入导出及Job操作示例

增量导入 递增列的增量导入append 时间列的增量导入lastmodified Sqoop job操作 将命令行保存为job,方便一次定义多次使用,同时简化命令行操作 操作实例 通过job模式定义向hive中增量加载数...

PeakFang-BOK
2018/10/16
535
0
Sqoop-1.4.4工具import和export使用详解

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移和同步。比如,下面两个潜...

Zero零_度
2016/07/24
51
0
往HIVE表中导入导出数据的几种方式详解

一:往HIVE表中导入导出数据 语法结构:[ ]带括号的表示可选择字段 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)......

qq_26442553
2018/03/08
0
0
sqoop与hbase导入导出数据

环境:sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明: 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行,需要经过h...

thinkpadshi
2017/08/28
0
0
大数据教程(13.6)sqoop使用教程

上一章节,介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识;本篇博客,博主将继续为小伙伴们分享sqoop的使用。 一、sqoop数据导入 (1)、导入关系表到HIVE 执行报错 再次执行,报错之...

em_aaron
03/18
111
0

没有更多内容

加载失败,请刷新页面

加载更多

消息中间件——RabbitMQ的高级特性

前言 前面我们介绍了RabbitMQ的安装、各大消息中间件的对比、AMQP核心概念、管控台的使用、快速入门RabbitMQ。本章将介绍RabbitMQ的高级特性。分两篇(上/下)进行介绍。 消息如何保障100%的...

Java架构师ya七
55分钟前
9
0
如何编写高质量的 JS 函数(1) -- 敲山震虎篇

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/7lCK9cHmunvYlbm7Xi7JxQ 作者:杨昆 一千个读者,有一千个哈姆雷特。 此系列文章将会从函数的执行机制、鲁棒性、函...

vivo互联网技术
今天
7
0
学会这5个Excel技巧,让你拒绝加班

在网上,随处都可以看到Excel技巧,估计已看腻了吧?但下面5个Excel技巧会让你相见恨晚。关键的是它们个个还很实用 图一 技巧1:快速删除边框 有时当我们处理数据需要去掉边框,按Ctrl+Shif...

干货趣分享
今天
11
0
JS基础-该如何理解原型、原型链?

JS的原型、原型链一直是比较难理解的内容,不少初学者甚至有一定经验的老鸟都不一定能完全说清楚,更多的"很可能"是一知半解,而这部分内容又是JS的核心内容,想要技术进阶的话肯定不能对这个...

OBKoro1
今天
11
0
高防CDN的出现是为了解决网站的哪些问题?

高防CDN是为了更好的服务网络而出现的,是通过高防DNS来实现的。高防CDN是通过智能化的系统判断来路,再反馈给用户,可以减轻用户使用过程的复杂程度。通过智能DNS解析,能让网站访问者连接到...

云漫网络Ruan
今天
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部