文档章节

Hive系列之HSQL转换成MapReduce过程

Vegetable
 Vegetable
发布于 2017/09/06 10:01
字数 922
阅读 46
收藏 0

精选30+云产品,助力企业轻松上云!>>>

hive的库、表等数据实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容, 比如执行查询,统计,插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档, 有点小心得分享出来。主要的参考链接
http://tech.meituan.com/hive-sql-to-mapreduce.html
http://www.slideshare.net/recruitcojp/internal-hive
注明:本文的图片借用slideshare内容。

hive的整体架构图如下所示, compiler部分负责把HiveSQL转换成MapReduce任务。

Paste_Image.png

基本转换步骤
hiveSQL转换成MapReduce的执行计划包括如下几个步骤:
HiveSQL ->AST(抽象语法树) -> QB(查询块) ->OperatorTree(操作树)->优化后的操作树->mapreduce任务树->优化后的mapreduce任务树

Paste_Image.png

SQL Parser:Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象 语法树AST Tree;
Semantic Analyzer:遍历AST Tree,抽象出查询的基本组成单元QueryBlock;
Logical plan:遍历QueryBlock,翻译为执行操作树OperatorTree;
Logical plan optimizer: 逻辑层优化器进行OperatorTree变换,合并不必要的ReduceSinkOperator,减少shuffle数据量;
Physical plan:遍历OperatorTree,翻译为MapReduce任务;
Logical plan optimizer:物理层优化器进行MapReduce任务的变换,生成最终的执行计划;

step1: SQL Parser
如下图所示, sql语句可以解析为三个部分
AST中第一个部分对应SQL语句中FROM access_log_hbase a JOIN product_hbase p ON (a.prono=p.prono)。
insert overwrite table对应第二部分。
select a.user, a.prono, p.maker, p.price对应第三部分。

Paste_Image.png

step2: Semantic Analyzer
这个步骤把AST转换成基本的查询块QB,如下图所示
QB的对象包括如下属性:
aliasToTabs:保存表格别名的信息
aliasToSubq:保存子查询的信息
qbm:保存每个输入表的元信息,比如表在HDFS上的路径,保存表数据的文件格式等

QBParseInfo对象包括如下属性:
joinExpr: 保存TOK_JOIN节点信息
destToxx:保存输出和各个操作的ASTNode节点的对应关系。

Paste_Image.png

如下图中, 表格别名a, p保存到aliasTotabs, 分别对应“access_log_hbase", " product_hbase"。
TOK_JOIN信息保存到ParseInfo对象:joinExpr

Paste_Image.png

下图所示,TOK_DESTINATION节点保存到nameToDest属性中。

Paste_Image.png

下图所示,TOK_SELECT节点保存到nameToDest属性中。

Paste_Image.png

step3:Logical Plan
该步骤是把查询块QB转换操作树。
操作树基本的操作符包括TableScanOperator,SelectOperator,FilterOperator,JoinOperator,GroupByOperator,ReduceSinkOperator。
TableScanOperator: 扫描数据表中数据,从原表中取数据。
JoinOperator完成Join操作。
FilterOperator完成过滤操作, 对应sql里面的where语句功能
ReduceSinkOperator:标志着Hive Map阶段的结束, Reduce阶段的开始。
SelectOperator:reduce阶段输出select中的列
FileSinkOperator: 生成结果数据到输出文件。

从两个输入表格中读入数据, 用operator树表示为两个TableScanOperator节点

Paste_Image.png

Join放在reduce阶段执行, 执行join节点前,加入两个ReduceSinkOperator节点,表示当前map阶段结束, 进入到reduce阶段。

Paste_Image.png

selectoperator节点,从reduce节点获取select指定的列值。

Paste_Image.png

nameToDest ASTNode节点,转换为FileSinkOperator节点, 把结果写入到目标文件。

Paste_Image.png

通过上面几个转换步骤, 最终生成的logical计划树。

Paste_Image.png

logical plan tree还可以通过logical plan optimizer进一步优化, 优化完成的逻辑优化树还有转换成物理执行计划和物理执行计划优化。本文不做详细介绍, 后续有时间再补充。

PS: 查看hive sql编译后的执行计划
hive> explain select * from tablename;

参考文档:
http://tech.meituan.com/hive-sql-to-mapreduce.html
http://www.slideshare.net/recruitcojp/internal-hive
http://lxw1234.com/archives/2015/09/476.htm

Vegetable
粉丝 20
博文 49
码字总数 48342
作品 0
杭州
私信 提问
加载中
请先登录后再评论。
1.1-Hive入门(Hive系列)

什么是Hive Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。...

yust5273
2019/01/19
0
0
1.1-Hive入门(Hive系列)

什么是Hive Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。...

yust5273
2019/01/19
0
0
Hive系列(一)Hive基本概念

一、Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能...

u012834750
2018/05/29
0
0
hive sql转换为MapReduce过程

hive sql 转换为 MapReduce过程 antlr 定义sql语法规则,完成sql词法,语法解析,将sql转换为抽象语法树AST tree 遍历 AST tree,抽象出查询的基本单元 查询块queryBlock 遍历 queryBlock,翻译成...

西二旗之猫
2018/02/22
353
0
Hive系列(一)Hive基本概念

一、Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能...

u012834750
2018/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

iOS14新特性探索之二:App Widget小组件应用

iOS14新特性探索之二:App Widget小组件应用 iOS 14除了引入了亮眼的App Clips功能外。还有一个也非常惹争议的功能就是App Widget。App Widget可以理解为小组件,在非常早的Android版本中就有...

珲少
11分钟前
0
0
科目二笔记

窄路掉头 行至肩膀与白线平行,向左打到底,等待车行进入窄路。待车与路程45°时,回半圈,继续前行待车与边线平行后回正。然后继续行至车盖压住前面的线后向左打到底,伸出头看前轮与边线距...

bug0day
20分钟前
6
0
Java基础系列——数组相关算法(11)

这里介绍一下数组中的常用算法 杨辉三角形 杨辉三角:它的两个边都是1,内部其它都是肩上两个数的和。 public class YangHui { public static void main(String[] args) { ...

卢佳鹏
20分钟前
23
0
thinkphp-nginx.conf

server{ listen 80; server_name test.cn; index index.php; root /data/wwwroot/test_tp5/public; include thinkphp.conf; location ~ [^/]\.php(/|$) ......

mind-blowing
22分钟前
0
0
Mysql死锁处理

1、错误信息 在mysql客户端执行update语句报错信息:ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction下面是在程序里面看到的错误信息com.mysql.cj.jdbc.ex...

简到珍
24分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部