文档章节

hive介绍

片刻
 片刻
发布于 2014/01/13 19:08
字数 607
阅读 313
收藏 1

-----成王败寇(陈小春)

Hive介绍

概念:

1.Hive 是建立在Hadoop  上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉SQL  的用户查询数据。同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的mapper  reducer  来处理内建的 mapper reducer  无法完成的复杂的分析工作。

2.HiveSQL解析引擎,它将SQL语句转译成M/R Job然后在Hadoop执行。

3.Hive的表其实就是HDFS的目录/文件,按表名把文件夹分开。如果是分区表,则分区值是子文件夹,可以直接在M/R Job里使用这些数据。 

Hive牛逼的地方就在于:

1. 是基于MapReduce的基础上,支持sql语法

2.  对上传到数据仓库的数据没有任何格式要求 

 

Hive的系统架构

图片 

用户接口,包括 CLIJDBC/ODBCWebUI

元数据存储,通常是存储在关系数据库如 mysql, derby 

解释器、编译器、优化器、执行器

Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算

 

l  用户接口主要有三个:CLIJDBC/ODBC WebUI

  1. CLI,即Shell命令行

  2. JDBC/ODBC  Hive Java,与使用传统数据库JDBC的方式类似

  3. WebGUI是通过浏览器访问 Hive

l  Hive 将元数据存储在数据库中(metastore),目前只支持mysqlderbyHive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等

l  解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划(plan)的生成。生成的查询计划存储在HDFS 中,并在随后有MapReduce 调用执行

l  Hive 的数据存储在HDFS 中,大部分的查询由MapReduce 完成(包含 * 的查询,比如select * from table 不会生成 MapRedcue 任务)


希望通过共享自己的笔记,来找到一群和我一样愿意分享笔记和心得的朋友,让大家一起进步

我的QQ:529815144,外号:小头




本文转载自:http://my.oschina.net/u/1866370/blog/287563

片刻
粉丝 107
博文 271
码字总数 308453
作品 0
海淀
高级程序员
私信 提问
大数据实验室(大数据基础培训)——Hive的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 10. Hive 10.1. 环境准备 cd /opt/workspaces 创建Hive数据目录 mkdir data/hive 创建Hive日志目录 mkdir logs/hive 10...

孤岛旭日
2016/05/06
59
0
hive(03)、数据仓库Hive Web UI的配置使用

Hive有一个基于web界面的东西,主要用于查看当前HiveServer2服务链接的会话、服务日志、配置参数等信息,这个服务更像是一个hive提供的监控服务,更加方便对hive的使用情况进行监控,本文我们...

MaxBill
2018/01/15
257
0
supermy/hadoop-docker-nn

微云(可快速扩充) 一键构造大数据平台-介绍 Hadoop介绍 及应用场景. Hbase+Hive介绍 及应用场景. 普通版镜像包构造 压缩版镜像包构造《比较大》 常用场景1 hbase+hive(hbase进行删改的数据...

supermy
2017/06/04
0
0
Hive在windows端的图形化连接工具

Hive官网上介绍过几种windows端的连接方式,本文主要介绍如何使用Oracle SQL Developer连接hive。 1.下载并解压Oracle SQL Developer 从 http://www.oracle.com/technetwork/developer-tool...

Matthew.L
2018/05/29
0
0
零基础学习hadoop到上手工作线路指导(中级篇)

此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。 五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为...

一枚Sir
2014/08/07
153
0

没有更多内容

加载失败,请刷新页面

加载更多

Bettertouchtool for Mac(触摸板增强工具) v3.225

Bettertouchtool Mac是一个MacOS上的触摸板增强工具,当然,你也可以称它为鼠标增强软件!Bettertouchtool实现不用点击而是触摸的方式操作。支持多种手势,1个,2个,3个手指的操作,支持缩放...

云不若
33分钟前
5
0
如何在MySQL中执行正则表达式替换?

我有一张约有50万行的表格; varchar(255)UTF8列filename包含一个文件名; 我正在尝试从文件名中去除各种奇怪的字符-以为我会使用字符类: [^a-zA-Z0-9()_ .\\-] 现在, MySQL中是否有一个...

技术盛宴
39分钟前
9
0
如何将存储卡转换为DVD

将存储卡转换为DVD是一项非常简单的任务,因为您只需要使用一些软件:读卡器,DVD和DVD刻录机以及软件即可。做好准备后,您现在就可以将文件传输到所需的目的地。但是,如果要使您的文件看起...

麦克虾仔
45分钟前
5
0
Elasticsearch 开箱指南

内容概要 ES 基础介绍,重点是其中的核心概念。 基础 API 实践操作。 1. 基础介绍 Elasticsearch (ES) 是一个数据库,提供了分布式的、准实时搜索和分析。 基于 Apache Lucene,可以操作结构...

性能与架构
47分钟前
7
0
聚合支付平台的安全防护 防止被攻击篡改的2020年方案篇

临近春节,某聚合支付平台被攻击篡改,导致客户提现银行卡信息被修改,支付订单被恶意回调,回调API接口的数据也被篡改,用户管理后台被任意登入,商户以及码商的订单被自动确认导致金额损失...

网站安全
今天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部