文档章节

Hive基本操作(数据导入导出)

k
 kunping
发布于 2017/01/08 21:45
字数 835
阅读 61
收藏 0

1、创建数据库(mydb)

CREATE DATABASE IF NOT EXISTS mydb;
use mydb;

2、创建表(t_loginfo)

CREATE TABLE IF NOT EXISTS t_loginfo(
	sdate string,
	stime array<string>,
	level string,
	class string,
	info1 string,
	info2 string,
	info3 string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
  COLLECTION ITEMS TERMINATED BY ','
  MAP KEYS TERMINATED BY ':';

   可将上述HQL语句保存到一个文本中,如/usr/script/loginfo.hql,然后执行

hive -f /usr/script/loginfo.hql
--或 hive> source /usr/script/loginfo.hql;

hadoop的日志格式:日期,时间,级别,类信息,提示信息。

2017-01-08 01:51:13,445 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetAsyncDiskService: Deleted BP-1727771939-127.0.0.1-1483765767408 blk_1073741836_1012 file /usr/local/install_path/hadoop-2.7.3/hdfs/data/current/BP-1727771939-127.0.0.1-1483765767408/current/finalized/subdir0/subdir0/blk_1073741836
2017-01-08 01:51:13,458 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetAsyncDiskService: Deleted BP-1727771939-127.0.0.1-1483765767408 blk_1073741837_1013 file /usr/local/install_path/hadoop-2.7.3/hdfs/data/current/BP-1727771939-127.0.0.1-1483765767408/current/finalized/subdir0/subdir0/blk_1073741837
2017-01-08 01:51:13,459 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetAsyncDiskService: Deleted BP-1727771939-127.0.0.1-1483765767408 blk_1073741838_1014 file /usr/local/install_path/hadoop-2.7.3/hdfs/data/current/BP-1727771939-127.0.0.1-1483765767408/current/finalized/subdir0/subdir0/blk_1073741838
2017-01-08 01:51:13,460 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetAsyncDiskService: Deleted BP-1727771939-127.0.0.1-1483765767408 blk_1073741839_1015 file /usr/local/install_path/hadoop-2.7.3/hdfs/data/current/BP-1727771939-127.0.0.1-1483765767408/current/finalized/subdir0/subdir0/blk_1073741839
2017-01-08 06:11:34,368 INFO org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: BlockPool BP-1727771939-127.0.0.1-1483765767408 Total blocks: 6, missing metadata files:0, missing block files:0, missing blocks in memory:0, mismatched blocks:0
2017-01-08 07:16:37,859 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Successfully sent block report 0x3f6343edc1a7,  containing 1 storage report(s), of which we sent 1. The reports had 6 total blocks and used 1 RPC(s). This took 0 msec to generate and 8 msecs for RPC and NN processing. Got back one command: FinalizeCommand/5.
2017-01-08 07:16:37,860 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Got finalize command for block pool BP-1727771939-127.0.0.1-1483765767408
2017-01-08 10:05:01,087 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving BP-1727771939-127.0.0.1-1483765767408:blk_1073741846_1022 src: /192.168.241.129:47726 dest: /192.168.241.129:50010
2017-01-08 10:05:01,176 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /192.168.241.129:47726, dest: /192.168.241.129:50010, bytes: 227, op: HDFS_WRITE, cliID: DFSClient_NONMAPREDUCE_-1528398405_1, offset: 0, srvID: 0d460e03-63da-42ea-88da-ac4499dda1f1, blockid: BP-1727771939-127.0.0.1-1483765767408:blk_1073741846_1022, duration: 5938769

3、导入本地数据,若无LOCAL关键字,则从hdfs里面加载,无OVERWRITE关键字,则追加而不是覆盖

LOAD DATA LOCAL INPATH '/usr/local/hadoop-2.7.3/logs/hadoop.log' OVERWRITE INTO TABLE t_loginfo;

4、查看数据

SELECT * FROM t_loginfo;

5、基本操作语句

--列出所有的数据库名称
SHOW DATABASES;

--使用数据库
USE dbName;

--列出所有表
SHOW TABLES;

--列出指定数据库所有表
SHOW TABLES IN dbName;

--正则表达式搜索表
SHOW TABLES LIKE 't%';

--获取建表语句
SHOW CREATE TABLE tableName;

--查看表结构
DESCRIBE tableName;

--复制表结构
CREATE TABLE new_table LIKE old_table;

--复制表结构和内容
CREATE TABLE new_table AS SELECT * FROM old_table;

--查询结果输出到文件中,-S静默执行
hive -S -e "SELECT * FROM tableName" > /tmp/myquery

--从文件中执行Hive查询,将查询语句保存为.q或者是.hql后缀的文件(其它也可)
--脚本 SELECT * FROM tableName;
--方式1:
       hive -f /path/to/file/myquery.hql
--方式2:
       hive> source /path/to/file/myquery.hql;

--执行shell命令,在命令前面加(!),并以分号(;)结束
hive> ! pwd;

--执行hadoop命令只需要将hadoop去掉,并以分号结束
hive> dfs -ls / ;
hive> dfs -help;

--设置显示查询字段名称
hive> set hive.cli.print.header=true;
hive> SELECT * FROM tableName

--删除数据库,不允许删除有表的数据库,若要删除需带上cascade
DROP DATABASE IF EXISTS dbName CASCADE;

--设置数据的属性,其中数据库名和数据库所在目录
hive> ALTER DATABASE daName SET DBPROPERTIES('key' = 'value');

--导出数据
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/t_loginof.txt' SELECT * FROM tableName;

--导出数据到多个文件
FROM tableName t
  INSERT OVERWRITE LOCAL DIRECTORY '/tmp/t1.txt' SELECT * WHERE t.col = 'xx1' 
  INSERT OVERWRITE LOCAL DIRECTORY '/tmp/t2.txt' SELECT * WHERE t.col = 'xx2' 
  INSERT OVERWRITE LOCAL DIRECTORY '/tmp/t3.txt' SELECT * WHERE t.col = 'xx3';

 

© 著作权归作者所有

k
粉丝 3
博文 61
码字总数 29867
作品 0
深圳
私信 提问
hive(02)、数据仓库Hive的基本使用

在上篇《 hive(01)、基于hadoop集群的数据仓库Hive搭建实践 》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张...

MaxBill
2018/01/10
245
0
Sqoop 增量导入导出及Job操作示例

增量导入 递增列的增量导入append 时间列的增量导入lastmodified Sqoop job操作 将命令行保存为job,方便一次定义多次使用,同时简化命令行操作 操作实例 通过job模式定义向hive中增量加载数...

PeakFang-BOK
2018/10/16
530
0
Sqoop-1.4.4工具import和export使用详解

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移和同步。比如,下面两个潜...

Zero零_度
2016/07/24
51
0
CCA Spark and Hadoop Developer (CCA175) 公开课信息

CCA Spark and Hadoop Developer (CCA175) 开发者认证 认证准备建议:Spark andHadoop开发者培训 考试形式:120分钟;70%通过;解决10~12基于CDH5机群上需通过实际操作的问题 线上:长期开课...

CDHandHadoop
2017/05/09
0
0
往HIVE表中导入导出数据的几种方式详解

一:往HIVE表中导入导出数据 语法结构:[ ]带括号的表示可选择字段 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)......

qq_26442553
2018/03/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

浅谈java过滤器Filter

一、简介 Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断如是否有权限访问页面等。其工作原理是,只要你在web.xml...

青衣霓裳
15分钟前
3
0
技术产品研发型企业的发展困境

目前中小企业想要发展自己的业务,必须使用到底层架构技术,于是企业多采用三种技术方案,一、招相关技术人员,并为之长期投入技术成本;二、使用相关开源技术框架,并培养相关业务人员;三、...

数蚕
38分钟前
3
0
《2019网络安全行业人才发展研究报告》出炉

随着大安全时代的到来,网络安全已经从虚拟空间延伸到现实空间。当今网络战愈演愈烈,网络军备赛即将来临。网络空间领域的战争归根到底还是人才的竞争。面对新形势,建立高效的网络安全人才培...

360网络安全大学
40分钟前
1
0
酒德利商城开发程序逻辑

<textarea name="Content" rows="2" cols="20" id="Content" class="t14" style="font-family:宋体;font-size:10.5pt;"></textarea> 酒德利商城开发zhao·I5OI3I5I74O微/电,酒德利批发零售,......

洋哥说
50分钟前
2
0
十款强大的IDEA插件-Java开发者的利器

xl_echo编辑整理,欢迎转载,转载请声明文章来源。欢迎添加echo微信(微信号:t2421499075)交流学习。 百战不败,依不自称常胜,百败不颓,依能奋力前行。——这才是真正的堪称强大!! 插件一...

xlecho
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部