文档章节

初识YARN

仪山湖
 仪山湖
发布于 2014/06/13 11:39
字数 694
阅读 73
收藏 0

MapReduce自hadoop-0.23版本后进行了彻底修改,现在的MampReduce,称为MapReduce 2.0(MRv2)或者YARN.
MRv2的基本想法是把JobTracker的两个基础功能,资源管理(resource management)和任务调度监控(job scheduling/monitoring),拆分成两个独立的后台进程。因此,这个想法形成了有一个全局资源管理器(ResourceManager, RM)和针对应用的应用掌控者(ApplicationMaster,AM),这里说的应用既可以是单个传统意义上的MapReduce job也可以是一个无回路有向图(DAG) job。

在YARN计算框架中有资源管理器,每个slave节点上有节点管理(NodeManager, NM),资源管理器拥有最高权力,管理系统中的所有应用。
框架给每个应用分配一个应用掌控者(ApplicationMaster),实际上,它是一个指定库,从资源管理器协商资源,并和NodeManage一起执行并监控任务。

资源管理器有两个主要的组件:调度器(Scheduler)和应用管理器(ApplicaionManager)
调度器负责让各种应用服从于队列容量的限制,这种场合下,调度器只是调度,不监控不跟踪应用的状态,也不保证重启失败的任务,调度器根据应用的资源需执行调度工作,它抽象出一个由cpu、内存、磁盘、网络等组成资源容器的概念,在第一个版本中,容器只支持内存。

调度器有一个可插拔策略插件,负责在多种队列和应用之间规划群集中的资源。当前MapReduce调度器,如CapacityScheduler和FairScheduler是这种插件的例子。CapacitySchduler支持层级队列,提供更多的群集资源预先分配的特性。
应用管理器负责接收提交的任务,和执行应用的第一容器协商,让其成为这个应用的ApplicationMaster,为ApplicationMaster容器失败时提供重启它的服务。
一个节点,一个节点管理器(NodeManager),负责监控容器的资源(cpu、内存、磁盘、网络等)使用情况并汇报给资源管理器和调度器。
ApplicationMaster负责和调度器协商合适的资源容器,跟踪这些容器的状态,监控其进程。
MRv2维护着和它的前一代稳定版本(hadoop-0.20.205)API的兼容性,这意味着,所有的MapReduce任务仍然可以不用改变就可以在MRv2框架上运行,只是需要编译一下。

@仪山湖

© 著作权归作者所有

仪山湖

仪山湖

粉丝 66
博文 64
码字总数 38431
作品 2
合肥
技术主管
私信 提问
大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是...

Mr_zebra
2018/06/29
7
0
HDFS 实验 (四) 集群操作

集群设置 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 用户手册 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdf......

pcdog
2018/04/13
0
0
Facebook 正式发布 JavaScript 包管理器 Yarn 1.0

Facebook 已于上周正式发布 JavaScript 包管理器 Yarn 1.0。 Facebook 表示 GitHub 上有 175,000 个项目在使用 Yarn,许多大大小小的公司和广大开源社区也在使用 Yarn,每个月通过 Yarn 下载...

局长
2017/09/15
2.2K
5
Ranger-Yarn插件安装

Ranger-Yarn插件ranger-0.6.0-yarn-plugin安装到Yarn的所有ResourceManager节点, 其他的NodeManager节点不需要安装。 登陆hdfs安装的用户,garrison/zdh1234(用户组hadoop),获取安装包解压安...

木木与呆呆
2018/04/26
0
0
再论Yarn Client和Yarn cluster

1、先看看Yarn client的架构示意图 Yarn Client首先在Client端启动Driver,就是在Client端跑main函数了,这时候main函数所在的jar包还没提交给Yarn集群。SparkContext开始跑了,并且启动了Y...

守望者之父
2019/09/29
42
0

没有更多内容

加载失败,请刷新页面

加载更多

应急广播户户通平台

一、平台概述 应急广播户户通平台为软硬一体化广播服务解决方案。实现了应急广播、视音频及图片文字信息、调频及数字广播FM、天气预报信息接收功能,以及视音频播放、智能机器人、电子日历等...

neocean
30分钟前
47
0
如何为Apache 2.2启用mod_rewrite

我已经在我的Vista机器上安装了新的Apache 2.2,一切正常,除了mod重写。 我没有注释 LoadModule rewrite_module modules/mod_rewrite.s 但是我的重写规则都没有,即使是简单的重写规则 Re...

javail
36分钟前
23
0
移除Python unicode字符串中的重音符号的最佳方法是什么?

我在Python中有一个Unicode字符串,我想删除所有的重音符号(变音符号)。 我在网上发现了一种用Java实现此目的的优雅方法: 将Unicode字符串转换为长规范化格式(带有单独的字母和变音符号)...

技术盛宴
51分钟前
48
0
ActiveMQ学习之SpringBoot整合ActiveMQ------>主题生产者和消费者

一、pom <!--聚合工程集成关系--> <!--统一整合第三方框架依赖信息--> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</a......

冥焱
今天
89
0
两周自制脚本语言-第11天 优化变量读写性能

第11天 优化变量读写性能 以变量值的读写为例,向读者介绍基于这种理念的语言处理器性能优化方式。 11.1 通过简单数组来实现环境 假如函数包含局部变量x与y,程序可以事先将x设为数组的第0个...

果汁分你一半
今天
58
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部