面试那点事之 白话理解: MapReduce 详细执行步骤
面试那点事之 白话理解: MapReduce 详细执行步骤
开拓者-2017 发表于3年前
面试那点事之 白话理解: MapReduce 详细执行步骤
  • 发表于 3年前
  • 阅读 97
  • 收藏 0
  • 点赞 0
  • 评论 1

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: 写在前面,我挺感谢这个群,感谢他的分享精神,感谢小头,感谢有一帮和我相同爱好的人。

MapReduce 详细执行步骤一共有八部,我把他简称为:天龙八部 

天龙八部

执行步骤:

1. map任务处理

1.1 读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。

1.2 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。

1.3 对输出的key、value进行分区。 

白话理解分区:看mapreduce的原理图map输出的这3个分支就代表3个分区,map的输出怎么会输出3个分区呢,他有可能输出10 或者输出1个分区吗,答案是都有可能,他分成几个分区是由谁来觉得的,这与业务相关。,我们的map任务在1.3中会对map进行分区

1.4 对不同分区的数据,按照key进行排序、分组。相同key的value放到一个集合中。

白话理解排序:对不同分区,这里的对象变了,是不同分区,按照key进行排序,【这里的key就是1.2中的输出】如果能key能排序意味着key他是实现了combarable接口的。实现了combarTo方法,还有一个分组,分组: 是他把相同key的value放到一个集合中,我说把相同key的value放到一个集合中,并没说集合中的元素怎么处理,仅仅是放到一个集合中

1.5 (可选)分组后的数据进行归约。

白话理解归约:简单理解 就是把大的数据集合变为小的数据集合这个过程叫做归约。举例(eg)加减乘除,加减乘除运算是一个等式运算,等式的左边是多个元素、右边是一个元素,那么把多元素的集合就变成一个元素的集合了,这个步骤就是归约。

归约是可选的,因不是所有的数据都适合规约,比如,绝对值

2.reduce任务处理

2.1 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点。

2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出。

白话理解reduce 2.2阶段的合并,:为什么合并,因为是多个map,为什么排序,前面不是排序好了吗。注意,每一个map任务是排序好,但是多个map任务之间是没有排序的,我们的reduce接受的是多map任务,所有他要重新排序,排序完成后我们要覆盖reduce函数实现自己的业务逻辑,对输入的key、value处理,转换成新的key、value输出。【提示:这个地方类似与map1.4阶段的执行过程,需要注意的时候,map 1.4阶段输出是以个分组,是分组数据调用reduce,不是一个一个的键值对调用reduce】

2.3 把reduce的输出保存到文件中。

共有 人打赏支持
粉丝 35
博文 150
码字总数 301625
评论 (1)
片刻
加油~
×
开拓者-2017
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: