文档章节

Yarn HA 原理

d
 dreamness
发布于 07/03 14:11
字数 269
阅读 16
收藏 0

Yarn HA

  • RMStateStore : 存储在Zookeeper的/rmstore目录

  • ResourceManager:

    • RecourseManager中有ZKFC线程

    • 启动的时候会向zk的/rmstore中写look文件, 写成功为active, 否则为standby。ResourceManager的ZKFC会一直监控lock文件是否存在

    • 当ZKFC被选举为active时, 会从RMStateStore 中读取相应的作业信息, 重新构建作业的内存信息, 启动内部服务, 开始接受NodeManager的心跳, 构建集群的资源信息, 并接受客户端的作业请求。

    • 当active的ResourceManager挂了, 另一个standby RecourseManager通过ZKFC选举为active, 从RMStateStore 读取相应的作业信息, 重新构建作业的内存信息, 启动内部的服务

    • active ResourceManager 向RMStateStore中写Application信息

    • 接收和监控ApplicationMaster on NodeManager节点的container(作业的主程序)

  • NodeManager:

    • 节点资源的管理
    • 启动容器
    • 运行task计算
    • 上报资源

© 著作权归作者所有

d

dreamness

粉丝 3
博文 48
码字总数 17330
作品 0
沈阳
私信 提问
Hadoop CDH4.5升级CDH5 以及NameNode和YARN HA实战

CDH5支持很多新特性,所以打算把当前的CDH4.5升级到CDH5,软件部署还是以之前的CDH4.5集群为基础 192.168.1.10 U-1 (Active) hadoop-yarn-resourcemanager hadoop-hdfs-namenode hadoop-mapr...

China_OS
2014/05/27
229
0
Hadoop技术资料汇总(不断更新中)

这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢...

九州暮云
05/07
81
0
Hadoop YARN单点故障解决方案(HA)介绍

在Apache Hadoop 2.0的第一个稳定版本2.2.0中,资源管理系统YARN存在单点故障,且尚未解决。YARN ResourceManage HA的相关jira为YARN-149,目前正在火热开发中,但尚未公布将来的发布版本。由...

蓝狐乐队
2014/05/12
381
0
【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂(改)

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第18期互动问答分享】 Q1:Master和Driver的是同一个东西吗? 两者不是同一个东西,在Standalone模式下Master是用于集群资源管理...

Spark亚太研究院
2014/10/31
87
0
《从0到1学习Flink》—— Flink JobManager 高可用性配置

前言 之前在 《从0到1学习Flink》—— Flink 配置文件详解 讲过 Flink 的配置,但是后面陆续有人来问我一些配置相关的东西,在加上我现在对 Flink 也更熟悉了些,这里我就再写下 Flink JobM...

群星纪元
03/18
36
0

没有更多内容

加载失败,请刷新页面

加载更多

js—String的一些方法

<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title></title> <script type="text/javascript"> var str="Hello boy" /** * 在底......

zhengzhixiang
6分钟前
2
0
vSphere ESXi 主机上的3种VLAN设置

VLAN - Virtual Local Area Network,虚拟局域网,能便捷地组建一个网络分组,并能提供诸多好处。VMware vSphere ESXi主机上,也可以在个层次上通过设置VLAN标签地形式来组建VLAN。从划分的层...

大别阿郎
28分钟前
3
0
elasticsearch 6.x的基本dsl语句

本文使用的谷歌浏览器插件sense,链接如下sense插件(兼容es6.x版本) 查看集群状态 http://106.12.27.130:9200/_cat/health?v 绿色-一切都很好(集群功能齐全) 黄色——所有的数据都是可用...

长恭
42分钟前
11
0
移动端的弹窗滚动禁止body滚动

本文转载于:专业的前端网站➼移动端的弹窗滚动禁止body滚动 前言 最近一个需求是弹窗展示列表,显然是需要一个滚动条的,而滚动到底部就会穿透到body滚动,而阻止默认行为是不行的,这样两个...

前端老手
今天
18
0
设计模式 建造者模式和模板方法模式扩展篇

建造者模式和模板方法模式扩展篇 UML 与抽象工厂模式比较 本模式可以看出与抽象工厂非常类似,都是产生不同的产品,怎么区分这两种设计的使用场景呢 - 建造者模式关注的是基本方法的调...

木本本
今天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部