文档章节

Spark1.3.0源码分析 第二篇 Master注册机制

daerFriend
 daerFriend
发布于 2017/06/16 12:07
字数 226
阅读 32
收藏 0

在Spark1.3.0中,需要Master注册主要分为三个,Worker注册、Driver注册、Application注册。

一、Application注册源码分析

    在上一篇SparkContext中我们分析到,通过获取Master的actor向Master发送注册消息,当消息发送出去以后,在Master一端就接收到消息,从而进行Application zhuce,如图:

在接收消息之后,首先它会去判断Master的状态是否是standby,如果是standby这什么也不做。

接着会通过applicationDescription 创建一个applicationInfo(即上图中的app);

然后,调用registerApplication(app)方法,进行注册,在regserApplication中它会将applicationInfo加入到内存当中 ,并且会将application加入到等待调度序列中。如图:

 

最后会使用持久化引擎,将applicationInfo进行持久化,并反向向SparkDeploySchelduerBackend的AppClient的ClientActor发送消息。如图:

Application注册完成!!!

 

© 著作权归作者所有

daerFriend
粉丝 1
博文 6
码字总数 25694
作品 0
程序员
私信 提问
Wireshark抓包分析Eureka注册发现协议

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/82918227 前面的系列文章中,我们分析源码对Eureka有了深入了解,其中获取服务列表、注册、...

博陵精骑
2018/10/03
0
0
[缺陷分析]半同步下多从库复制异常

引 言 本文是由爱可生研发团队出品的「图解MySQL」系列文章,不定期更新,但篇篇精品。 爱可生开源社区持续运营维护的小目标: 每周至少推送一篇高质量技术文章 每月研发团队发布开源组件新版...

爱可生
03/25
8
0
实战监听Eureka client的缓存更新

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/82827802 从Eureka server获取服务列表 Spring cloud环境中的应用,如果注册到Eureka serv...

博陵精骑
2018/09/25
0
0
SparkContext的初始化(季篇)——测量系统、ContextCleaner等组件介绍

《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第...

beliefer
2016/03/08
0
0
Android事件分发机制完全解析,带你从源码的角度彻底理解(上)

版权声明:本文出自郭霖的博客,转载必须注明出处。 https://blog.csdn.net/sinyu890807/article/details/9097463 转载请注明出处:http://blog.csdn.net/guolinblog/article/details/90974...

guolin
2013/06/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
昨天
64
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
昨天
26
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
昨天
43
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
昨天
27
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
昨天
44
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部