文档章节

spark内核揭秘-05-SparkContext核心源码解析初体验

stark_summer
 stark_summer
发布于 2015/01/19 15:09
字数 350
阅读 102
收藏 1

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:


进入createTaskScheduler方法:


我们看一下其Standalone的方式:


在上述代码中首先实例化一个TaskSchedulerImpl:


然后构建出了masterUrls:



接着创建出关键的backend:


进入SparkDeploySchedulerBackend实现:



从以上截图可以看出来,SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend


此处使用了Akka技术进行不同机器之间的通信,CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表,所以我们的backend实例就是用来提交任务给Executor的:



其实CoarseGrainedExecutorBackend是Executor的代理人,能够完成很多任务,例如启动一个任务:LaunchTask


回到SparkContext的Standalone的方式的代码处:


接着代码是把backend传给了TaskSchedulerImpl的initialize方法中:


在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

在代码块的最后返回实例化后的backend, scheduler:


PS:妈蛋的 公司破网,spark源码没下载成功,只能在github上面看了,蛋疼

© 著作权归作者所有

stark_summer
粉丝 61
博文 75
码字总数 51050
作品 0
朝阳
CEO
私信 提问
加载中

评论(0)

【Spark】SparkStreaming-Tasks-数量如何设置?

SparkStreaming-Tasks-数量如何设置? sparkstreaming task 数量设置百度搜索 spark内核揭秘-14-Spark性能优化的10大问题及其解决方案 - starksummer - ITeye博客 如何在执行spark streaming...

osc_5s0xzojq
2018/01/11
5
0
王家林大咖清华大学新书Spark第二版已上市:前浪致 Spark + AI 后浪

王家林大咖清华大学新书Spark第二版已上市:前浪 致 Spark + AI 后浪 大咖心声 新书图片 新书介绍 编辑推荐 内容简介 作者简介 新书目录 第二版前言 第一版前言 新书案例讲解 第二版网购链接...

段智华
昨天
0
0
Spark 核心篇-SparkContext

本章内容: 1、功能描述 本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类,足以说明SparkContext的重要性;这里先...

osc_7v8xw84w
2018/03/20
6
0
Spark2.1.0——Spark初体验

学习一个工具的最好途径,就是使用它。这就好比《极品飞车》玩得好的同学,未必真的会开车,要学习车的驾驶技能,就必须用手触摸方向盘、用脚感受刹车与油门的力道。在IT领域,在深入了解一个...

osc_cw97bsoa
2018/05/21
4
0
spark 学习路线及参考课程

一、Scala编程详解: 第1讲-Spark的前世今生 第2讲-课程介绍、特色与价值 第3讲-Scala编程详解:基础语法 第4讲-Scala编程详解:条件控制与循环 第5讲-Scala编程详解:函数入门 第6讲-Scala编...

osc_s5wa3ebb
2018/05/07
24
0

没有更多内容

加载失败,请刷新页面

加载更多

Entity Framework Core配置DbContext的两种方式

Entity Framework Core配置DbContext的两种方式 使用Entity Framework迁移过程中遇到过一个问题,在这里拿出来晒晒。 Unable to create an object of type 'xxxContext'. For the different......

osc_9twbv6jz
5分钟前
11
0
layui结构

layui 静态资源 src/layuiadmin/:layuiAdmin 的静态资源(JS、CSS、模块碎片等)

申光跃喝大米汤
5分钟前
11
0
算法分享之关于atcoderbeginner166E的讲解

序言:博客是为了别人写?还是自己写。在我看来,博客可以帮助我记录自己的知识的欢愉,以别人的角度去审视自己的想法,博客帮助我记录自己的成长,也等待着一位位有缘人。 好了,不多说了,...

osc_8rbrmk98
6分钟前
6
0
Visual Studio之重构(二)

学习网址:https://docs.microsoft.com/zh-cn/visualstudio/get-started/visual-studio-ide?view=vs-2019 示范 vs2019: 变量的重命名的重构,更改该变量命名的同时,引用该变量的地方也会更...

osc_dc6pbw3x
7分钟前
11
0
人工智能的四个核心能力是语音、图像、自然语言理解和用户画像(主要应用领域)

转自:https://www.leiphone.com/news/201609/RqBizumSAK82B1Dj.html https://www.sohu.com/a/252300234_99924609...

osc_nc5ghpm9
8分钟前
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部