文档章节

spark内核揭秘-12-AppClient注册Masters

stark_summer
 stark_summer
发布于 2015/01/23 10:10
字数 360
阅读 89
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

注册Master有两种,一种是registerWithMaster方法,一种是tryRegisterAllMasters方法,前者是单Master的情况,后者是多Master,一般情况下是满足HA机制,我们看一下registerWithMaster方法:


此时会调用tryRegisterAllMasters方法:


此时通过Akka通过消息机制发送消息给Master来注册程序,RegisterApplication是一个case class,来封装消息:


我们进入Master的源代码:




看一下接受客户端发送过来消息RegisterApplication的代码如下所示:



此时首先使用ApplicationInfo构建一些准备信息,然后会导致registerApplication代码的调用:

1、createAppliction:


2、registerApplication:


代码中就是一个注册应用的过程。

3、sender ! RegisteredApplication(app.id, masterUrl)方法是回复给发送者消息:


3.1、上面代码中的changeMaster(masterUrl):


3.2、进入listener.connected(appId)方法:


3.2.1、进入实现类SparkDeploySchedulerBackend的connected方法:


进入notifyContext()方法:



4、接着在Master的消息响应中会调用schedule方法:






可以看到schedule方法中首先要启动Driver程序,也就是有main函数的程序,然后在schedule中会调度Worker的过程:

上面代码分析

1、进入launchDriver(worker, driver)方法:


1.1、进入worker.actor ! LaunchDriver(driver.id, driver.desc)方法:


1.1.1、进入 driver.start()方法:






2、进入 launchExecutor(worker, exec)方法:


PS:代码分析的好乱呀,我这个笨猪

© 著作权归作者所有

stark_summer
粉丝 61
博文 75
码字总数 51050
作品 0
朝阳
CEO
私信 提问
加载中

评论(0)

【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 Q1:AppClient和worker、master之间的关系是什么? :AppClient是在StandAlone模式下SparkContext.runJob...

Spark亚太研究院
2014/10/08
128
0
解决在编程方式下无法访问Spark Master问题

我们可以选择使用spark-shell,spark-submit或者编写代码的方式运行Spark。在产品环境下,利用spark-submit将jar提交到spark,是较为常见的做法。但是在开发期间,每次都需要编译jar去做提交...

osc_3qujv2zb
2018/01/16
2
0
大话Spark(6)-源码之SparkContext原理剖析

SparkContext是整个spark程序通往集群的唯一通道,他是程序的起点,也是程序的终点。 我们的每一个spark个程序都需要先创建SparkContext,接着调用SparkContext的方法, 比如说 sc.textFile(...

osc_pll3h24t
2019/06/11
1
0
【Spark】SparkStreaming-Tasks-数量如何设置?

SparkStreaming-Tasks-数量如何设置? sparkstreaming task 数量设置百度搜索 spark内核揭秘-14-Spark性能优化的10大问题及其解决方案 - starksummer - ITeye博客 如何在执行spark streaming...

osc_5s0xzojq
2018/01/11
5
0
TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等

本课主题 通过 Spark-shell 窥探程序运行时的状况 TaskScheduler 与 SchedulerBackend 之间的关系 FIFO 与 FAIR 两种调度模式彻底解密 Task 数据本地性资源分配源码实现 引言 TaskScheduler ...

osc_8tcnyc1i
2018/05/24
4
0

没有更多内容

加载失败,请刷新页面

加载更多

2020淘宝618理想生活列车自动领喵币脚本

自动收喵币 脚本 使用教程(测试安卓手机可用) 第一步安装 auto.js 第二步录入脚本 脚本 欢迎大家在评论区反馈,方便作者修改脚本 //by 丈二auto.waitFor();var height = device.height;...

osc_7oc4d1en
26分钟前
37
1
openlayers6聚合图(附源码下载)

前言 之前写过一篇openlayers4版本的地图聚合图文章,但是由于是封装一层 js代码写的,很多初学者看起来比较有点吃力,所以本篇文章重新写一篇地图热力图文章,直接基于最新版本openlayers6...

osc_4qu6doqx
28分钟前
36
0
查找感兴趣的基因、基因组区域是否有调控元件的在线网页工具EpiRegio

前几天,Nucleic Acids Res新发了一篇文章,关于查找基因组调控元件的网页在线工具EpiRegio:https://epiregio.de/。 具体来说,该工具有以下三个功能: 1)通过给定一系列的感兴趣基因,查找...

osc_doeya1ck
29分钟前
17
0
【Gradle教程】Gradle 入门

本文为我在学习群内分享时在B站直播时的文档,直播间地址 http://live.bilibili.com/22263819 PS:问一下,Linux下有什么好用的会议软件么? 知道的朋友烦请评论告知,感谢 00.简介 Gradle 是...

osc_cyn8i2xg
30分钟前
24
0
加密后的PDF文档怎么解除密码?迅捷PDF转换器手把手教你操作!

加密后的PDF文档怎么解除密码?很多人在拿到一些珍贵的文档之后,喜欢自己先进行阅读和学习,为了避免泄露甚至会给文档进行加密,在学习完成想要进行分享的时候却发现,不知道该如何解除PDF...

dawda
31分钟前
33
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部