Spark1.3.0源码分析 第二篇 Master注册机制

原创
2017/06/16 12:07
阅读数 98

在Spark1.3.0中,需要Master注册主要分为三个,Worker注册、Driver注册、Application注册。

一、Application注册源码分析

    在上一篇SparkContext中我们分析到,通过获取Master的actor向Master发送注册消息,当消息发送出去以后,在Master一端就接收到消息,从而进行Application zhuce,如图:

在接收消息之后,首先它会去判断Master的状态是否是standby,如果是standby这什么也不做。

接着会通过applicationDescription 创建一个applicationInfo(即上图中的app);

然后,调用registerApplication(app)方法,进行注册,在regserApplication中它会将applicationInfo加入到内存当中 ,并且会将application加入到等待调度序列中。如图:

 

最后会使用持久化引擎,将applicationInfo进行持久化,并反向向SparkDeploySchelduerBackend的AppClient的ClientActor发送消息。如图:

Application注册完成!!!

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部