加载中
大数据教程(10.7)Mapreduce的其他补充(计数器、多job串联、参数优化等)

上一篇文章分析了自定义inputFormat(小文件合并)的实现,在此博主将继续Mapreduce的其他补充(计数器、多job串联、参数优化等)内容的分享。 一、计数器应用 在实际生产代码中,常常需要将...

2018/12/30 00:12
296
大数据教程(10.4)订单中成交金额最大的订单项分析

上一篇博客分享了日志清洗的实现,本篇文章博主将为小伙伴们分享"订单中成交金额最大的订单项分析"的案例。 一、需求 分析出下图中每个订单中成交金额最大的订单项 #订单号,商品号,成交金额 ...

2018/12/23 00:42
213
大数据教程(9.5)用MR实现sql中的jion逻辑

上一篇博客讲解了使用jar -jar的方式来运行提交MR程序,以及通过修改YarnRunner的源码来实现MR的windows开发环境提交到集群的方式。本篇博主将分享sql中常见的join操作。 一、需求 订单数据表...

2018/12/11 01:01
353
大数据教程(9.3)MR运行在yarn集群流程分析&&本地模式调试MR程序_

mapreduce在yarn集群中流程分析: 在windows本地环境的调试需要先安装好windows环境,具体请看windows安装篇; 最后寄语,以上是博主本次文章的全部内容,如果大家觉得博主的文章还不错,请点...

2018/12/08 20:37
529
大数据教程(9.2)MR内部的shuffle过程详解&combiner的运行机制及代码实现

之前的文章已经简单介绍过mapreduce的运作流程,不过其内部的shuffle过程并未深入讲解;本篇博客将分享shuffle的全过程。 一、mapreduce运作流程长卷图(其中[深]朱红色代表是可以用户自定义...

2018/12/04 22:04
1.8K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部