文档章节

Yarn 事件分发调度

d
 double大宝
发布于 2017/05/03 23:51
字数 258
阅读 51
收藏 0

 

yarn:调度框架,基于事件

    AsyncDispatcher:异步事件分发器,总管道
        参数:
            事件队列:BlockingQueue<Event> eventQueue
            事件分发器:eventDispatchers = new HashMap<Class<? extends Enum>, EventHandler>()
        方法:
            dispatch(event):将事件进行分发到对应的事件处理器 EventHandler
        内部类:
            GenericEventHandler,将事件添加到队列中,implements EventHandler
        
        
    ApplicationAttemptEventDispatcher:二次分发,implements EventHandler
        handle(RMAppAttemptEvent event)
            调用rmAppAttempt.handle(event);
    
    RMAppImpl:implements EventHandler
        handle(e):事件处理

远程调试准备:
    1.设置ResourceManagers 的 JVM 开启远程调试功能。
        enable_yarn-remotedebug.sh:启用脚本
            export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000"
        disable_yarn-remotedebug.sh:停用脚本
            export YARN_RESOURCEMANAGER_OPTS=
    2.执行脚本,并source *.sh 生效
    3.启动 start-yarn.sh
    4.在win7下配置eclipse的远程调试,连接到RM的8000端口
        a.Re sourceManager 的main方法添加断点
    5.在ResourceManager类上选择Debug as--> debug configuration
    6.打开调试窗口 --》remote java Application
        connectionType:socket attack
        Host:s0
        port:8000
        

job:
    1.application
    2.application 基于状态机模型。
        NEW 
        NEW_SAVING 
        SUBMITTED 
        ACCEPTED 
        RUNNING 
        FINISHED 
        FAILED 
        KILLED 

    3.状态之间的变换通过事件触发的。

© 著作权归作者所有

d
粉丝 2
博文 86
码字总数 43479
作品 0
贵港
私信 提问
大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是...

Mr_zebra
2018/06/29
6
0
YARN/MRv2 Resource Manager深入剖析—资源调度器

在YARN中,资源调度器(ResourceScheduler)是一个非常核心的部件,它负责将各个节点上的资源封装成container,并按照一定的约束条件(按队列分配,每个队列有一定的资源分配上限等)分配给各...

2k10
2015/03/21
155
0
Apache Hadoop 3.1.0 发布,原生支持 GPU 和 FPGA

Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在...

李玉珏
2018/04/13
2.4K
6
Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由Res...

2k10
2015/03/21
76
0
大数据(hadoop-分布式搭建和yarn)

分布式搭建步骤 1:克隆一台机器完成后,按以下步骤进行修改(作为源克隆主机) 1)修改网卡信息,路径/etc/sysconfig/network-scripts 2)删除70-persistent-net.rules这个文件,路径在:/...

这很耳东先生
06/12
35
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
12
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
8
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
11
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部