文档章节

Apache Hadoop NextGen MapReduce(YARN)

LianyouCQ
 LianyouCQ
发布于 2014/03/03 23:47
字数 334
阅读 128
收藏 1

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/YARN.html

一点理解。

MapReduce 从Hadoop-0.23版本做了很大的改动,后面的版本称为MapReduce 2.0(MRv2.0)或者YARN

把JobTracker, Resource management和job scheduling/monitoring功能分离了,所以从后面的版本没有了JobTracker,当时搭建环境时,看到网上的教程说有输入jps,就有JobTracker和TaskTracker了。结果傻傻地试了好几次,都失败了。

现在倒好了,把MapReduce分成了两部分:一个全局的ResourceManager(RM)和每个ApplicationMaster(AM)

ResourceManager就好像是一个老板,他有两个漂亮秘书,一个写策划书的(Scheduler),一个去执行策划书的(ApplicationsManager)。

写策划的,得考虑每个人能力等因素来分配任务量,但是她才不管你是怎么做的。

执行策划的,他不能事必躬亲吧,所以她得让她的小弟们(ApplicationMaster)去做这些事,所以她得保证任务的成功,照顾到小弟的一些情况。

当然了,这样还不行。有人会说,谁来监督这些做事的小弟们,执行策划的说了不算吧,写策划的还有来自星星的你等着呢,所以还得第三方(NodeManager)来干这个事,他负责监视他们,然后把这些报告给老板。


© 著作权归作者所有

上一篇: expr命令
下一篇: tr大小写转换
LianyouCQ

LianyouCQ

粉丝 58
博文 92
码字总数 51766
作品 0
沙坪坝
程序员
私信 提问
Hadoop 2.0(YARN/HDFS)学习资料汇总

本文档整理了迄今为止Hadoop 2.0(包括YARN和HDFS2)相关的一些学习资料,包括文档、技术博客、Hadoop书籍等,欢迎大家补充,我将持续更新这个页面。 1. PDF资料 (1)“Apache Hadoop YARN:...

颜建海
2014/05/28
968
0
Hadoop 2.5.0编译到Apache Hadoop Common失败

[INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................. SUCCES......

尧雪
2018/04/19
438
1
Hadoop、MapReduce、YARN和Spark的区别与联系

(1) Hadoop 1.0 第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应...

cuiyaonan2000
2018/05/08
0
0
2014-11-12--Hadoop的基础学习(三)--Hadoop中MapReduce框架入门

1.MapReduce的简单概念 百度百科:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和他们的主要思想,都是从函数式编程语言里借来的...

查封炉台
2014/11/16
8.3K
8
Hadoop 2.X -- YARN

YARN最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管...

散关清渭
2015/06/02
205
0

没有更多内容

加载失败,请刷新页面

加载更多

同名依赖,多次引入导致的程序错误

表现: 本地测试正常,打包上线后报错找不到某个方法(缺少依赖),检测依赖发现,同名依赖有两个版本。 解决:删除一个,程序正常

避难所
29分钟前
3
0
在HTML中的下拉框中实现超连接

<!DOCTYPE html><html lang="zh-CN"><head> <meta charset="UTF-8"> <link rel="canonical" href="https://blog.csdn.net/weixin_34228617/article/details/86130280"/> ......

mickelfeng
34分钟前
3
0
Content7关闭防火墙命令

在外部访问CentOS中部署应用时,需要关闭防火墙。 关闭防火墙命令:systemctl stop firewalld.service 开启防火墙:systemctl start firewalld.service 关闭开机自启动:systemctl disable f...

无名氏的程序员
35分钟前
3
0
分布式存储原理:TiDB

浮躁的码农
48分钟前
7
0
CSS实现圆角边框的完美解决方案

css实现图片圆角,兼容所有浏览器: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 <style type= "text/css" > /*通用样式--容器宽度值*/ .s......

前端老手
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部