spark内核揭秘-12-AppClient注册Masters
spark内核揭秘-12-AppClient注册Masters
stark_summer 发表于3年前
spark内核揭秘-12-AppClient注册Masters
  • 发表于 3年前
  • 阅读 83
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

摘要: spark内核揭秘-12-AppClient注册Masters spark内核揭秘-12-AppClient注册Masters spark内核揭秘-12-AppClient注册Masters

注册Master有两种,一种是registerWithMaster方法,一种是tryRegisterAllMasters方法,前者是单Master的情况,后者是多Master,一般情况下是满足HA机制,我们看一下registerWithMaster方法:


此时会调用tryRegisterAllMasters方法:


此时通过Akka通过消息机制发送消息给Master来注册程序,RegisterApplication是一个case class,来封装消息:


我们进入Master的源代码:




看一下接受客户端发送过来消息RegisterApplication的代码如下所示:



此时首先使用ApplicationInfo构建一些准备信息,然后会导致registerApplication代码的调用:

1、createAppliction:


2、registerApplication:


代码中就是一个注册应用的过程。

3、sender ! RegisteredApplication(app.id, masterUrl)方法是回复给发送者消息:


3.1、上面代码中的changeMaster(masterUrl):


3.2、进入listener.connected(appId)方法:


3.2.1、进入实现类SparkDeploySchedulerBackend的connected方法:


进入notifyContext()方法:



4、接着在Master的消息响应中会调用schedule方法:






可以看到schedule方法中首先要启动Driver程序,也就是有main函数的程序,然后在schedule中会调度Worker的过程:

上面代码分析

1、进入launchDriver(worker, driver)方法:


1.1、进入worker.actor ! LaunchDriver(driver.id, driver.desc)方法:


1.1.1、进入 driver.start()方法:






2、进入 launchExecutor(worker, exec)方法:


PS:代码分析的好乱呀,我这个笨猪

共有 人打赏支持
粉丝 59
博文 75
码字总数 51050
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: