文档章节

Hadoop yarn 详解

西二旗之猫
 西二旗之猫
发布于 2017/03/25 16:08
字数 654
阅读 37
收藏 0

概要:

    yarn 是Hadoop2.x 运算引擎,她不仅仅可以运行MapReduce,还可以运行DAG(storm应用),hive,hbase,pig,spark等应用,yarn的设计目的是能够使各种应用运行在Hadoop之上,并且通过yarn从系统层面进行统一的管理,各个应用互不干扰,共享整个集群的资源.

     yarn的设计思想是把 资源管理,任务调度/监控独立出来,成为单独的守护进程,

yarn的组成

       ResourceManager: 包括 App Manager(应用管理器) 和  Resource Scheduler(调度器)

             AppManager: 应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动AppMaster、监控AppMaster运行状态并在失败时重新启动它等。

             ResourceScheduler :调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。

      NodeManager: 包括 AppMaster, Container,NodeManager是每个节点上的资源和任务管理器,一方面,它会定时地向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它接收并处理来自AppManager的Container启动/停止等各种请求。

            Container:是每个节点上的资源抽象,封装了每个节点上的资源

            AppMaster:是client提交的应用,每个应用对应一个 AppMaster,一个NodeManager上可以            有多个 AppMaster,AppMaster与对应的每个NodeManager节点上的Container进行通信监控任            务执行状态,并且汇报给ResourceManager的App Manager,

 

yarn 原理图

MapReduce NextGen Architecture

                              

                                    (这里盗用官网的一张图)

 

简述yarn运行原理

  1. 用户client 向ResourceManager 提交应用
  2. ResourceManager 为应用程序分配第一个container,并且和响应的NodeManager通信,请求在这这个container中为应用启动一个AppMaster
  3. 这个AppMaster首先向ResourceManager注册自己,为了让client能够通过AppManager监控到任务的状态,并且ResourceManager会为这个AppMaster分配 container,这些container在不同的NodeManger中,
  4. AppMaster申请到资源(container)之后,就会与响应的NodeManger进行通讯,并且启动任务
  5. 各个任务通过 RPC(远程调用协议)向AppMaster汇报自己的状态和进度,
  6. 应用运行完毕之后,AppMaster向AppManager汇报完毕,并且注销关闭自己.

(注意: mapreduce应用会在执行完毕之后关闭注销,但是 storm的topology任务除非手动kill否则永远执行)

                                                                           

        

       

 

 

© 著作权归作者所有

西二旗之猫
粉丝 7
博文 53
码字总数 38138
作品 0
私信 提问
Hadoop3.2.0使用详解

Hadoop3.2.0使用详解 1.概述 Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的。截止本篇博客书写为止,Hadoop发布了3.2.0。接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些...

优惠券活动
04/23
0
0
Hadoop技术资料汇总(不断更新中)

这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢...

九州暮云
05/07
64
0
HDFS 实验 (四) 集群操作

集群设置 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 用户手册 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdf......

pcdog
2018/04/13
0
0
Hadoop 2.0(YARN/HDFS)学习资料汇总

本文档整理了迄今为止Hadoop 2.0(包括YARN和HDFS2)相关的一些学习资料,包括文档、技术博客、Hadoop书籍等,欢迎大家补充,我将持续更新这个页面。 1. PDF资料 (1)“Apache Hadoop YARN:...

颜建海
2014/05/28
963
0
Hadoop 2.5.0编译到Apache Hadoop Common失败

[INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................. SUCCES......

尧雪
2018/04/19
368
1

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
今天
4
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
今天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
6
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部