加载中
hive最新UDF函数(2016-10-25)

hive UDF函数 :(后期翻译,暂时先贴着,有兴趣来 http://apache.wiki 可以一起来翻译呀) https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 不过这个基本是不需要什么...

2016/10/25 12:57
130
Hive 中 Map Join 的适用场景:非等值连接

欢迎来: http://apache.wiki 来看更多的apache技术翻译 最近开发中遇到几种应用,刚好使用MAPJOIN来解决实际的问题。 应用共同点如下: 1: 有一个极小的表<1000行 2: 需要做不等值join操作(...

2016/10/25 12:51
143
004.使用MSCK命令修复Hive表分区

一、背景 目前总有一些场景: 例如1: 我上家公司也有这样做法的小伙伴,新建一个month=20150101分区,然后以为就可以读取数据叻。当然我理解你的心情。 你在hive的某个表新建了一个month的文...

2016/06/14 16:54
372
003.hive数据仓库-职业方向的定位

有时候:真的别慌张盲目的入职,就像恋爱一下、思考自己适合什么。 今天去美团的一次面试 说说收获: (不管别人画的是否正确,表示很感谢) 1.有了一个稍微清晰一点的方向吧 2.认清了自己从事...

2016/05/09 22:48
134
006.面试:HIVE 2个大表join的倾斜问题

1.hive 2个大文件倾斜join如何解决? 设置maxSize和preRedecer的大小,能保证数据的均匀分配。  注意: 设置Reduce和perReducer就行,性能还不错 MAP阶段优化 •mapred.map.tasks 无效 •n...

2016/05/09 00:38
640
006.hive的join操作

今天被别人问道,我奔溃了,卧槽! 没仔细研究过这个  HQL代码: SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2) 这里有两个map/reduce任务在j...

2016/05/09 00:21
45
001.hive数据仓库介绍和应用场景

1.基本概念: 数据仓库是: 一个面向主题、集成的、时变的、非易失的数据集合;支持管理者的决策过程 2.应用场景 1.海量的数据存储 2.ETL (数据分层:将底层概念映射到更一般的较高层概念->多...

2016/05/09 00:09
107
002.hive数据仓库建模和元数据备份

1.数据建模 装逼的解释: 是指 对现实世界各类数据的抽象组合,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 通俗的说: 1.概念建模阶段: 就是对业务的梳理和理解(1....

2016/05/05 19:38
289
006.hive语句优化

参考地址:http://www.cnblogs.com/end/archive/2013/01/15/2861448.html hive玩得好不好,在于你对mapreduce理解深不深叻;当然借鉴学习也很重要 倾斜分成group by造成的倾斜和join造成的倾...

2016/05/04 20:14
152
Hive:ORC File Format存储格式详解

Hive:ORC File Format存储格式详解

Hive任务优化--控制hive任务中的map数和reduce数

hive调优- map和reduce的设置 (感觉排版不错,转载)

Hive官方文档使用说明

QQ:529815144 || QQ群:248087140

Hive运维 — hive-site文件

QQ:529815144 || QQ群:248087140

没有更多内容

加载失败,请刷新页面

返回顶部
顶部