spark内核揭秘-11-Driver中AppClient源码分析
spark内核揭秘-11-Driver中AppClient源码分析
stark_summer 发表于3年前
spark内核揭秘-11-Driver中AppClient源码分析
  • 发表于 3年前
  • 阅读 49
  • 收藏 1
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: spark内核揭秘-11-Driver中AppClient源码分析

首先从SparkContext中TaskScheduler实例的创建开始:


进入taskScheduler.start()方法内部:


进入其实现者TaskSchedulerImpl内部:



可以发现在start具体实现的内部首先是有个backend.start方法:


其最终具体的实现类为:





从代码中可以看出,我们把CoarseGrainedExecutorBackend封装成command,然后交给appDesc,接着交给了Appclient,此时的AppClient就是客户端程序!

AppClient会调用start方法:


此时启动了ClientActor:




关于AppClient的代码,在我之前的博客文章已经分析了,此处俺就不分析了

下一篇要分析registerWithMaster() 和 tryRegisterAllMasters()方法

共有 人打赏支持
粉丝 60
博文 75
码字总数 51050
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: