yarn

2019/08/14 11:18
阅读数 236

1.1           yarn(分布式资源管理器)

1.1.1     yarn是什么?

yarn是MapReduce第二代,将jobtracker重构呈功能分离成单独的组件。Yarn可以看作一个集群操作系统,他为应用程序提供了基本的服务来更好的利用大的、动态的、并行的基础设施资源。用任何语言编写的应用程序都能顺利用任意规模的Hadoop集群的计算和存储资源。

yarn是一种分层的集群架构,分层的本质是resourcemanager—RM。

  1. 控制整个集群并管理应用程序向基础计算资源分配;
  2. 将各资源(计算、内存、宽带等)进行安排给基础nodemanager(yarn的媒节点代理)

1.1.2     yarn主要架构

yarn由三个组件组成:ResourceManager(RM)、Applications Manager—ASM、NodeManager(NM)。

1.1.2.1               ResourceManager

ResourceManager(RM)是一个全局的资源管理器,负责整个系统的资源管理和分配,简称RM。

RM构成:

  1. Scheduler--调度器:根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序,该调度器是一个可插拔的组件,用户可根据自己的需要设计新的调度器。
  2. Applications Manager--ASM 应用程序管理器:负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

1.1.2.2               ApplicationMaster

ApplicationMaster是应用程序管理器,简称AM。

       AM是每个用户作业的主进程,负责管理作业生命周期,包括动态的增加或减少资源使用(container)、管理执行流程(map任务和reduce任务),处理故障和计算偏差以及执行其他的本地优化。

AM的功能

  1.                  i.            与RM调度器协商以获取资源--用Container表示;
  2.                ii.            将得到的任务进一步分配给内部的任务(资源的二次分配);
  3.              iii.            与NM通信以执行和监控任务;
  4.               iv.            监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

1.1.2.3               NodeManager(NM)

NM是hadoop每个节点上的资源和任务管理器,一方面,它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它接收并处理来自AM的Container启动/停止等各种请求。

 

1.1.2.4               Container

Container(容器)是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,YARN会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源。

单个节点上可以有多个Container。系统中的每个节点可以认为是有内存和CPU的最小容量的多个

Container组成。AM可以请求任何Container来占据最小容量的整数倍的资源。

注释:Container是绑定到特定集群节点的一组资源逻辑组合,可以理解为一个容器。

1.1.3     RM与NM的关系

RM与NM通过心跳通信,RM与每个节点上的NM进程交互。NM负责本地资源的监控,故障报告以及container生命周期的管理(如启动和杀死作业)。RM依赖NM来维护集群的全局视图。

在启动时,NM向RM注册,然后发送包含自身状态的心跳,并等待来自RM的指令。NM的主要目标是管理RM分配给他的应用Container。

1.1.4     Yarn的作业流程

AM与RM、NM是通过可扩展网络协议进行通信的,AM向RM发出资源请求(包括本地化偏好—HDFS的使用、container属性等),当一个资源被调度给一个AM时,RM为该资源生成一个租约,供AM通过心跳获取。Container通过特定协议与AM通信来报告状态和健康信息以及接受框架特定的指令。如下图所示yarn的作业流程

客户端提交作业申请

  1. 客户端向ResourceManager(后续简称RM)提交作业申请。
  2. RM根据申请内容返回相关的信息(例如根据input的路径,返回对应的文件元数据,还有作业资源的提交路径)。
  3. 客户端根据RM返回的信息生成资源文件(job.split、job.xml、app.jar)并将资源文件提交至提交路径(一般存放在hdfs上)
  4. 资源文件提交完毕,向RM申请运行applicationMaster(后续简称AM)。

2)RM处理用户请求

RM将用户的请求打包为task,放置调度队列,根据当前yarn的调度模式进行调度(YARN提供的三种任务调度策略:FIFO Scheduler,Capacity Scheduler 和 Fair Scheduler)。

3)NodeManager从队列中获取task。

创建contianer容器启动AM和下载资源文件。

4)AM向RM申请运行mapTask容器,RM将请求再打包为task放置调度队列。

其它NM获取到task后会再创建contianer容器并下载资源文件,contianer中的mapTask任务由AM负责监控和调度。

5)AM向maptask发送程序启动命令。

6)contianer运行mapTask

7)当各节点mapTask运行完毕后,AM重复4的步骤(这次申请运行reduceTask)。

程序运行完成后,AM向RM注销自己。

Hadoop1与Hadoop yarn的区别

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部