spark内核揭秘-03-spark核心组件
spark内核揭秘-03-spark核心组件
stark_summer 发表于3年前
spark内核揭秘-03-spark核心组件
  • 发表于 3年前
  • 阅读 132
  • 收藏 4
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

摘要: spark内核揭秘-03-spark核心组件 spark内核揭秘-03-spark核心组件 spark内核揭秘-03-spark核心组件 spark内核揭秘-03-spark核心组件

spark核心组件如下所示:




在SparkContext初始化的时候,会初始化一系列内容:

查看内存使用情况:



创建和启动scheduler:



集群核心组件中的Block tracker是用于block和partition对应关系的管理。

集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。

从集群中也可以看出,Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。

而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的



也就是说有多partition就会有多少task在运行,而这些task都是并发的运行在Executor中的。



共有 人打赏支持
粉丝 59
博文 75
码字总数 51050
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: