文档章节

Spark 1.6.0 源码精读

柯里昂
 柯里昂
发布于 2016/04/03 19:26
字数 992
阅读 295
收藏 9

Spark 1.6.0

 

一般程序的入口都是这个步骤,Config->Context

Spark也不例外,先从入口开始

SparkConf:Spark 应用程序的配置

/**
  * SparkConf.scala 
  *
  *
  * Configuration for a Spark application. Used to set various Spark parameters as key-value pairs.
  *
  * Most of the time, you would create a SparkConf object with `new SparkConf()`, which will load
  * values from any `spark.*` Java system properties set in your application as well. In this case,
  * parameters you set directly on the `SparkConf` object take priority over system properties.
  *
  * For unit tests, you can also call `new SparkConf(false)` to skip loading external settings and
  * get the same configuration no matter what the system properties are.
  *
  * All setter methods in this class support chaining. For example, you can write
  * `new SparkConf().setMaster("local").setAppName("My app")`.
  *
  * Note that once a SparkConf object is passed to Spark, it is cloned and can no longer be modified
  * by the user. Spark does not support modifying the configuration at runtime.
  *
  * @param loadDefaults whether to also load values from Java system properties
  */

 

SparkContext:

/**
 * SparkContext.scala
 *
 * 
 * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark
 * cluster, and can be used to create RDDs, accumulators and broadcast variables on that cluster.
 *
 * Only one SparkContext may be active per JVM.  You must `stop()` the active SparkContext before
 * creating a new one.  This limitation may eventually be removed; see SPARK-2243 for more details.
 *
 * @param config a Spark Config object describing the application configuration. Any settings in
 *   this config overrides the default configs as well as system properties.
 */

SparkContext :由上述注释可知:

  • Spark功能的主入口。

  • 充当与Spark Cluster的连接的角色

  • 在集群中创建RDD,累加器,广播器

另外:

  • Spark程序的注册是通过SparkContext实例化时产生的对象来完成的,具体是被SchedulerBackend注册给集群的。standalone的模式下,是SparkDeploySchedulerBackend。

  • Spark程序运行的时候要通过Cluster Manager来获取具体的计算资源,计算资源的获取也是SparkContext产生的对象申请的

  • Spark的调度优化也是基于SparkContext的,RDD创建完后不会立即执行,会由SparkContext中的TaskScheduler和DAGScheduler等来调度优化。

  • SparkContext奔溃或者结束时,整个Spark程序也结束了。

 

 

综上所述:SparkContext主要是是创建RDD、累加器、广播、注册程序、获取计算资源、调度优化。

上述的SchedulerBackend中的Scheduler可以理解为是TaskScheduler,而不是DAGScheduler。也就是说SchedulerBackend是TaskScheuler的backend。

 

 


从调度角度来看,分为DAGScheduler和TaskScheduler,都是保证进度按时完成的。

假如拿盖房子来说,可以分为打地基,砌墙,盖顶,粉刷等阶段[stage]。而具体里面每一个阶段中,比如砌墙,可以分为砌东南西北墙等。

DAGScheduler属于高层调度器,只要是负责Stage层面的调度和失败重试。比如上面的地基,砌墙,盖顶,粉刷等阶段,而且都是有依赖关系的【shuffle】。如果哪个步骤失败了,也负责通知重试。

TastScheduler属于底层调度器,负责Task层面的调度和失败重试。比如上面的 砌墙中的砌南墙,如果南墙失败了,则负责通知重砌。

 

SparkContext构建的3大对象:

DAGScheduler:是面向Job的Stage的高层调度器,是一个类。

TaskScheduler:是一个接口。目前只有TaskSchedulerImpl一个实现。

SchedulerBackend:也是一个接口。根据不同的Cluster Manager的不同实现而实现不同。在standalone下,是SparkDeploySchedulerBackend

 

从整个程序运行时的角度来讲分为4大核心对象:DAGScheduler、TaskScheduler、SchedulerBackend、MapOutputTrackerMaster。

除了上面已有的3个。

MapOutputTrackerMaster是负责Shuffle数据输出和读入的管理。

 

SparkDeploySchedulerBackend有3大核心功能:

负责与Master连接,注册当前程序。standalone下,由SparkDeploySchedulerBackend的start方法中创建的AppClient中的ClientEndpoint向Master注册的。

接受集群中为应用程序分配的计算资源Executor的注册和管理。主要是向Driver。

将Task发送给Executor。

补充说明的是:SchedulerBackend是被TaskSchedulerImpl管理的。

 

当通过SparkDeploySchedulerBackend向Master注册程序的时候,Master会将Command发指令给Worker下的Executor,Worker启动Executor所在进程的时候,该进程名字就是CoarseGrainedExecutorBackend。该类是有main方法的入口类。且Executor是先向Driver注册成功后,再启动具体的Executor。


Spark 之SparkContext 源码精读1

 

 

© 著作权归作者所有

共有 人打赏支持
柯里昂
粉丝 25
博文 174
码字总数 82849
作品 0
徐汇
技术主管
私信 提问
SPARK 源码分析技术分享(带bilibili视频)

SPARK 源码分析技术分享 (带bilibili视频) 【本站点正在持续更新中…2018-12-05…】 SPARK 1.6.0-cdh5.15.0 Hadoop 2.6.0-cdh5.15.0 spark-scala-maven 微信(技术交流) : thinktothings SPA...

thinktothings
2018/12/02
0
0
Spark运行调试方法与学习资源汇总

最近,在学习和使用Spark的过程中,遇到了一些莫名其妙的错误和问题,在逐个解决的过程中,体会到有必要对解决上述问题的方法进行总结,以便能够在短时间内尽快发现问题来源并解决问题,现与...

天天顺利
2015/05/07
0
1
standalone 模式安装

spark-1.6.0-cdh5.15.0 standalone 模式安装 更多资源 github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn.net/thinktothings/articl......

thinktothings
2018/12/02
0
0
Spark On Yarn 中出现的问题记录

1:运行候一直retry master:8032的问题 分析:可能是因为yarn没有启动。 解决:检查是否启动了服务. 用jps命令查看相关信息[是否存在ResourceManager] 2: mory used; 2.2 GB of 2.1 GB virtu...

那年的暖风
2018/09/27
0
0
从 "No module named pyspark" 到远程提交 spark 任务

版权声明:本文为半吊子子全栈工匠(wirelesscom,同公众号)原创文章,未经允许不得转载。 https://blog.csdn.net/wirelesscom/article/details/51170246 能在本地Mac环境用python提交spark...

abel_cao
01/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 白掌柜说了卖货不卖身

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @爱漫爱 :这是一场修行分享羽肿的单曲《Moony》 手机党少年们想听歌,请使劲儿戳(这里) @clouddyy :开不开心? 开心呀, 我又不爱睡懒觉…...

小小编辑
今天
8
0
大数据教程(11.7)hadoop2.9.1平台上仓库工具hive1.2.2搭建

上一篇文章介绍了hive2.3.4的搭建,然而这个版本已经不能稳定的支持mapreduce程序。本篇博主将分享hive1.2.2工具搭建全过程。先说明:本节就直接在上一节的hadoop环境中搭建了! 一、下载apa...

em_aaron
今天
3
0
开始看《JSP&Servlet学习笔记》

1:WEB应用简介。其中1.2.1对Web容器的工作流程写得不错 2:编写Servlet。搞清楚了Java的Web目录结构,以及Web.xml的一些配置作用。特别是讲了@WebServlet标签 3:请求与响应。更细致的讲了从...

max佩恩
今天
4
0
mysql分区功能详细介绍,以及实例

一,什么是数据库分区 前段时间写过一篇关于mysql分表的的文章,下面来说一下什么是数据库分区,以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下面(可...

吴伟祥
今天
3
0
SQL语句查询

1.1 排序 通过order by语句,可以将查询出的结果进行排序。放置在select语句的最后。 格式: SELECT * FROM 表名 ORDER BY 排序字段ASC|DESC; ASC 升序 (默认) DESC 降序 1.查询所有商品信息,...

stars永恒
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部