文档章节

spark内核揭秘-03-spark核心组件

stark_summer
 stark_summer
发布于 2015/01/18 09:48
字数 244
阅读 150
收藏 4

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

spark核心组件如下所示:




在SparkContext初始化的时候,会初始化一系列内容:

查看内存使用情况:



创建和启动scheduler:



集群核心组件中的Block tracker是用于block和partition对应关系的管理。

集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。

从集群中也可以看出,Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。

而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的



也就是说有多partition就会有多少task在运行,而这些task都是并发的运行在Executor中的。



stark_summer
粉丝 61
博文 75
码字总数 51050
作品 0
朝阳
CEO
私信 提问
加载中
请先登录后再评论。
spark 学习路线及参考课程

一、Scala编程详解: 第1讲-Spark的前世今生 第2讲-课程介绍、特色与价值 第3讲-Scala编程详解:基础语法 第4讲-Scala编程详解:条件控制与循环 第5讲-Scala编程详解:函数入门 第6讲-Scala编...

osc_s5wa3ebb
2018/05/07
30
0
【Spark】SparkStreaming-Tasks-数量如何设置?

SparkStreaming-Tasks-数量如何设置? sparkstreaming task 数量设置百度搜索 spark内核揭秘-14-Spark性能优化的10大问题及其解决方案 - starksummer - ITeye博客 如何在执行spark streaming...

osc_5s0xzojq
2018/01/11
9
0
Spark源码分析系列(目录)

记录自己学习研究 Spark 的探索过程,为后续总结奠定基础。 本文代码研究以 Spark 2.3.0 源代码为基准,如果看本文,请阅读时,下载对应的 Spark 版本。 图1 伯克利的数据分析软件栈BDAS(B...

osc_7v8xw84w
2018/03/20
6
0
数据团队联合起来!Databricks Spark+AI 峰会倒计时!2020年6月22-26日

数据团队联合起来!Databricks Spark+AI 峰会倒计时!2020年6月22-26日 Spark + AI 峰会虚拟环境 个性化仪表盘 建立日程 Dev Hub + Expo 峰会任务和商店 Spark + AI2020峰会注册 选择门票类型...

osc_x4ot1joy
06/14
6
0
Spark 学习资源收集【Updating】

(一)spark 相关安装部署、开发环境 1、Spark 伪分布式 & 全分布式 安装指南 http://my.oschina.net/leejun2005/blog/394928 2、Apache Spark探秘:三种分布式部署方式比较 http://dongxic...

大数据之路
2014/09/08
5.7K
0

没有更多内容

加载失败,请刷新页面

加载更多

插入,在PostgreSQL中重复更新吗? - Insert, on duplicate update in PostgreSQL?

问题: Several months ago I learned from an answer on Stack Overflow how to perform multiple updates at once in MySQL using the following syntax: 几个月前,我从关于堆栈溢出的答案......

技术盛宴
39分钟前
28
0
互联网的寒冬下各大一线互联网公司还在用SpringBoot这是为什么?

引言 现在各大技术社区 Spring Boot 的文章越来越多,Spring Boot 相关的图文、视频教程越来越多,使用 Spring Boot 的互联网公司也越来越多; Java 程序员现在出去面试, Spring Boot 已经成...

北柠Java
42分钟前
8
0
vue+elementui实现简易的列筛选功能实现。

一、简易效果图: 二、需求背景 大家都知道,后管类系统当中,有时一个列表可能有很多列需要展示,如下图所示,但是用户在使用系统的时候,往往会需要针对其中某几列进行数据提取,在展示列比...

一生懸命吧
44分钟前
60
0
批处理问题记录——数字实验bat

记录学习批处理时的问题 批处理为输入一个数字,如果大于等于一百,直接输出输入数字,如果小于一百会重复+1,直到100后输出。 问题是,如果不输入数字,直接空格的话,批处理会出错。 寻求一...

愤怒的乌老大
51分钟前
6
0
算法题汇总

计算两个字符串中的最大的相同字符串

佳幂小煜
今天
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部