文档章节

Yarn资源管理器简单介绍

二龙湖小峰哥
 二龙湖小峰哥
发布于 01/04 17:05
字数 701
阅读 119
收藏 0

Yarn有以下几个组件组成:

    Container是Yarn对计算机计算资源的抽象,它其实就是一组CPU和内存资源,所有的应用都会运行在Container中

    ApplicationMaster是运行在Yarn中某个应用的抽象,它其实就是某个类型应用的实例,ApplicationMaster是应用级别的,它的主要功能就是像ResourceManager申请计算资源,并且和NodeManager交互来执行和监控具体的Task

        Scheduler是ResourceManager专门进行资源管理的一个组件,负责分配nodeManager上的container资源,NodeManager也会不断发送自己Container使用情况给ResourceManager

这里写图片描述

备注:

         1:任何一个job或者application必须运行在一个或者多个Container中,在Yarn框架中,Resourcemanager只负责告诉ApplicationMaster哪些Containers是可用的,ApplicationMaster还需要去找NodeManager请求分配具体的Container

             2:ResourceManager主要有两个组件:Scheduler和ApplicationManager

             3:在yarn中,每个job都会对应一个ApplicationMaster

Application在Yarn中的执行过程

              执行过程分为三步:应用程序的提交,启动应用的ApplicationMaster实例,ApplicationMaster实例管理应用程序的执行

这里写图片描述

 

客户端程序向ResourceManager提交应用并请求一个ApplicationMaster实例

ResourceManager找到可以运行一个Container的NodeManager,并在这个Container中启动ApplicationMaster实例

ApplicationMaster向ResourceManager进行注册,注册之后客户端就可以查询ResourceManager获得自己ApplicationMaster的详细信息,以后就可以和自己的ApplicationMaster直接交互了

在平常的操作过程中,ApplicationMaster根据resource-request协议向ResourceManager发送resource-request请求

当Container被成功分配之后,ApplicationMaster通过向NodeManager发送container-launch-specification信息来启动Container, container-launch-specification信息包含了能够让Container和ApplicationMaster交流所需要的资料

用程序的代码在启动的Container中运行,并把运行的进度、状态等信息通过application-specific协议发送给ApplicationMaster

在应用程序运行期间,提交应用的客户端主动和ApplicationMaster交流获得应用的运行状态、进度更新等信息,交流的协议也是application-specific协议

但应用程序执行完成并且所有相关工作也已经完成,ApplicationMaster向ResourceManager取消注册然后关闭,用到所有的Container也归还给系统

 

备注简单请求过程:应用向ApplicationMaster请求资源,然后ApplicationMaster把这个资源请求以resource-request的形式发送给resourceManager的Schedule,Schedule在这个原始的resource-request中加入分配到的Container的描述,ApplicationMaster得到这些Container的信息后,与具体的包含这些资源的NodeManager进行交互来启动Container运行任务,当然Container的分配是需要认证(类似令牌)的,以防止ApplicationMaster自己去请求集群资源

© 著作权归作者所有

共有 人打赏支持
二龙湖小峰哥
粉丝 2
博文 13
码字总数 13985
作品 0
杭州
程序员
私信 提问
Yarn大体框架和工作流程研究

一、概述 将公司集群升级到Yarn已经有一段时间,自己也对Yarn也研究了一段时间,现在开始记录一下自己在研究Yarn过程中的一些笔记。这篇blog主要主要从大体上说说Yarn的基本架构以及其各个组...

zengzhaozheng
07/02
0
0
《Hadoop权威指南》书摘-关于YARN

转载请注明出处:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776 简介 Apache YARN (Yet Another Resource Negotiaor的缩写)是Hadoop的集群资源管理系统,YARN被引入Hadoo......

GhostStories
07/27
0
0
2018-07-21期 Hadoop Yarm体系结构剖析

一、简介 YARN(Yet Another Resource Negotiator)是一个通用的资源管理平台,可为各类计算框架提供资源的管理和调度。 其核心出发点是为了分离资源管理与作业调度/监控,实现分离的做法是拥...

JackmaSong
07/23
0
0
Drill-on-YARN之部署

概要 Drill是Apache旗下的一个开源SQL查询引擎,可用于探索大数据。它的设计初衷是为了支持对大数据的高性能分析,同时支持行业标准查询语言ANSI SQL。 在Drill 1.13之前,Drill只支持独立集...

xjy4j
08/28
0
0
[Hadoop]Hadoop YARN的发展史与详细解析

带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。H...

sjf0115
2016/11/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

day148-2018-11-15-英语流利阅读-待学习

赴美生子恐结束?特朗普中期选举憋大招 毛西 2018-11-15 1.今日导读 在 2013 年,一部《北京遇上西雅图》让赴美生子这个曾经神秘的话题吸引了很多关注。每年,数以万计的父母远赴美国,并在那...

飞鱼说编程
16分钟前
1
0
OSChina 周四乱弹 —— 每次我穿短裙的时候

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @瘟神灬念 :分享DM DOKURO的单曲《Reality Check Through The Skull》: 差点以为手机卡了 《Reality Check Through The Skull》- DM DOKURO...

小小编辑
25分钟前
45
2
Windows 10 设置 Java 环境变量

首先你需要在我的电脑中打开,找到环境变量属性。 找到环境变量属性 找到环境变量属性后单击将会看到下面的设置界面。 在这个界面中设置高级系统设置。 环境变量 在弹出的界面中选择设置环境...

honeymose
今天
2
0
用any-loader封装jQuery的XHR —— 随便写着玩系列

哎,都说没人用JQuery啦,叫你别写这个。 其实我也是好高骛远使用过npm上某个和某个很出名的XHR库,嗯,认识我的人都知道我喜欢喷JQ,以前天天喷,见面第一句,你还用JQ,赶紧丢了吧。但我也...

曾建凯
今天
8
0
SLF4J的正确打开方式

最近公司好几波人过来问日志打印相关的异常,大多是jar包冲突引起的,发现大部分同事不太清楚各种日志框架以及相关jar包之间的关系,所以今天详细的讲解下常见jar包之间的关系,以及如何正确...

lexus90
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部