spark内核揭秘-05-SparkContext核心源码解析初体验
spark内核揭秘-05-SparkContext核心源码解析初体验
stark_summer 发表于3年前
spark内核揭秘-05-SparkContext核心源码解析初体验
  • 发表于 3年前
  • 阅读 93
  • 收藏 1
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: spark内核揭秘-05-SparkContext核心源码解析初体验 spark内核揭秘-05-SparkContext核心源码解析初体验 spark内核揭秘-05-SparkContext核心源码解析初体验 spark内核揭秘-05-SparkContext核心源码解析初体验

SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:


进入createTaskScheduler方法:


我们看一下其Standalone的方式:


在上述代码中首先实例化一个TaskSchedulerImpl:


然后构建出了masterUrls:



接着创建出关键的backend:


进入SparkDeploySchedulerBackend实现:



从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend


此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:



其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask


回到SparkContext的Standalone的方式的代码处:


接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:


在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

在代码块的最后返回实例化后的backend, scheduler:


PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼

共有 人打赏支持
粉丝 60
博文 75
码字总数 51050
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: