Apache Hadoop NextGen MapReduce(YARN)

原创
2014/03/03 23:47
阅读数 186

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/YARN.html

一点理解。

MapReduce 从Hadoop-0.23版本做了很大的改动,后面的版本称为MapReduce 2.0(MRv2.0)或者YARN

把JobTracker, Resource management和job scheduling/monitoring功能分离了,所以从后面的版本没有了JobTracker,当时搭建环境时,看到网上的教程说有输入jps,就有JobTracker和TaskTracker了。结果傻傻地试了好几次,都失败了。

现在倒好了,把MapReduce分成了两部分:一个全局的ResourceManager(RM)和每个ApplicationMaster(AM)

ResourceManager就好像是一个老板,他有两个漂亮秘书,一个写策划书的(Scheduler),一个去执行策划书的(ApplicationsManager)。

写策划的,得考虑每个人能力等因素来分配任务量,但是她才不管你是怎么做的。

执行策划的,他不能事必躬亲吧,所以她得让她的小弟们(ApplicationMaster)去做这些事,所以她得保证任务的成功,照顾到小弟的一些情况。

当然了,这样还不行。有人会说,谁来监督这些做事的小弟们,执行策划的说了不算吧,写策划的还有来自星星的你等着呢,所以还得第三方(NodeManager)来干这个事,他负责监视他们,然后把这些报告给老板。


展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部