加载中
Hive任务优化--控制hive任务中的map数和reduce数

hive调优- map和reduce的设置 (感觉排版不错,转载)

006.面试:HIVE 2个大表join的倾斜问题

1.hive 2个大文件倾斜join如何解决? 设置maxSize和preRedecer的大小,能保证数据的均匀分配。  注意: 设置Reduce和perReducer就行,性能还不错 MAP阶段优化 •mapred.map.tasks 无效 •n...

2016/05/09 00:38
4.3K
006.hive语句优化

参考地址:http://www.cnblogs.com/end/archive/2013/01/15/2861448.html hive玩得好不好,在于你对mapreduce理解深不深叻;当然借鉴学习也很重要 倾斜分成group by造成的倾斜和join造成的倾...

2016/05/04 20:14
357
详细探究Spark的shuffle实现

QQ:529815144 || QQ群:248087140

007.hive调优:大数据倾斜

QQ:529815144 QQ群:248087140

2014/01/17 16:09
1.3K
Hive运维 — hive-site文件

QQ:529815144 || QQ群:248087140

006.利用eclipse编写自定义hive udf函数

QQ:529815144 QQ群:248087140

2014/05/18 14:53
4.6K
Shuffle对MapReduce性能调优

QQ:529815144 || QQ群:248087140

006.hive的join操作

今天被别人问道,我奔溃了,卧槽! 没仔细研究过这个  HQL代码: SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2) 这里有两个map/reduce任务在j...

2016/05/09 00:21
73
Spark 是什么?

QQ:529815144 || QQ群:248087140

2015/12/13 14:38
142
005.hive中order by,distribute by,sort by,cluster by

QQ:529815144 QQ群:248087140

2014/07/30 18:47
2K
009.Spark Programming Guide

Spark的学习注意2个点: Transformations 和Actions(编码学习一定要会用API)

没有更多内容

加载失败,请刷新页面

返回顶部
顶部