文档章节

hive介绍

开拓者-2017
 开拓者-2017
发布于 2014/07/05 13:55
字数 594
阅读 93
收藏 0

Hive介绍

概念:

1.Hive 是建立在Hadoop  上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉SQL  的用户查询数据。同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的mapper  reducer  来处理内建的 mapper reducer  无法完成的复杂的分析工作。

2.HiveSQL解析引擎,它将SQL语句转译成M/R Job然后在Hadoop执行。

3.Hive的表其实就是HDFS的目录/文件,按表名把文件夹分开。如果是分区表,则分区值是子文件夹,可以直接在M/R Job里使用这些数据。 

Hive牛逼的地方就在于:

1. 是基于MapReduce的基础上,支持sql语法

2.  对上传到数据仓库的数据没有任何格式要求 

 

Hive的系统架构

图片 

用户接口,包括 CLIJDBC/ODBCWebUI

元数据存储,通常是存储在关系数据库如 mysql, derby 

解释器、编译器、优化器、执行器

Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算

 

l  用户接口主要有三个:CLIJDBC/ODBC WebUI

  1. CLI,即Shell命令行

  2. JDBC/ODBC  Hive Java,与使用传统数据库JDBC的方式类似

  3. WebGUI是通过浏览器访问 Hive

l  Hive 将元数据存储在数据库中(metastore),目前只支持mysqlderbyHive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等

l  解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划(plan)的生成。生成的查询计划存储在HDFS 中,并在随后有MapReduce 调用执行

l  Hive 的数据存储在HDFS 中,大部分的查询由MapReduce 完成(包含 * 的查询,比如select * from table 不会生成 MapRedcue 任务)



© 著作权归作者所有

开拓者-2017
粉丝 38
博文 150
码字总数 301555
作品 0
大兴
程序员
私信 提问
大数据实验室(大数据基础培训)——Hive的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 10. Hive 10.1. 环境准备 cd /opt/workspaces 创建Hive数据目录 mkdir data/hive 创建Hive日志目录 mkdir logs/hive 10...

孤岛旭日
2016/05/06
59
0
hive(03)、数据仓库Hive Web UI的配置使用

Hive有一个基于web界面的东西,主要用于查看当前HiveServer2服务链接的会话、服务日志、配置参数等信息,这个服务更像是一个hive提供的监控服务,更加方便对hive的使用情况进行监控,本文我们...

MaxBill
2018/01/15
257
0
supermy/hadoop-docker-nn

微云(可快速扩充) 一键构造大数据平台-介绍 Hadoop介绍 及应用场景. Hbase+Hive介绍 及应用场景. 普通版镜像包构造 压缩版镜像包构造《比较大》 常用场景1 hbase+hive(hbase进行删改的数据...

supermy
2017/06/04
0
0
Hive在windows端的图形化连接工具

Hive官网上介绍过几种windows端的连接方式,本文主要介绍如何使用Oracle SQL Developer连接hive。 1.下载并解压Oracle SQL Developer 从 http://www.oracle.com/technetwork/developer-tool...

Matthew.L
2018/05/29
0
0
零基础学习hadoop到上手工作线路指导(中级篇)

此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。 五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为...

一枚Sir
2014/08/07
157
0

没有更多内容

加载失败,请刷新页面

加载更多

处理CSV文件中的逗号

我正在寻找有关如何处理正在创建的csv文件的建议,然后由我们的客户上传,并且该值可能带有逗号(例如公司名称)。 我们正在研究的一些想法是:带引号的标识符(值“,”值“,”等)或使用|...

javail
今天
43
0
如何克隆一个Date对象?

将Date变量分配给另一个变量会将引用复制到同一实例。 这意味着更改一个将更改另一个。 如何实际克隆或复制Date实例? #1楼 简化版: Date.prototype.clone = function () { return new ...

技术盛宴
今天
58
0
计算一个数的数位之和

计算一个数的数位之和 例如:128 :1+2+8 = 11 public int numSum(int num) { int sum = 0; do { sum += num % 10; } while ((num = num / 10) > 0); return sum;......

SongAlone
今天
89
0
为什么图片反复压缩后普遍会变绿,而不是其他颜色?

作者:Lion Yang 链接:https://www.zhihu.com/question/29355920/answer/119088684 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 业余版概要:安卓的...

shzwork
今天
55
0
每天AC系列(二):最接近的三数之和

1 题目 leetcode第16题,给定一个数组与一个目标数,找出数组中其中的三个数,这三个数的和要与目标数最接近。 2 暴力 按惯例先来一次O(n3)的暴力: int temp = nums[0]+nums[1]+nums[2];fo...

Blueeeeeee
今天
46
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部