Spark (一) 生态与架构
博客专区 > bigsloth 的博客 > 博客详情
Spark (一) 生态与架构
bigsloth 发表于1年前
Spark (一) 生态与架构
  • 发表于 1年前
  • 阅读 27
  • 收藏 1
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

伯克利数据分析栈BDAS

 

Spark开发视图

deploy:含有Spark部署与启动运行的代码。
 

common:不是一个文件夹,而是代表Spark通用的类和逻辑实现,有5000行代码。
 

metrics:是运行时状态监控逻辑代码,Executor中含有Worker节点负责计算的逻辑代码。
 

partial:含有近似评估代码。
 

network:含有集群通信模块代码。
 

serializer:含有序列化模块的代码。
 

storage:含有存储模块的代码。
 

ui:含有监控界面的代码逻辑。其他的代码模块分别是对Spark生态系统中其他组件的实现。
 

streaming:是Spark Streaming的实现代码。
 

YARN:是Spark on YARN的部分实现代码。
 

graphx:含有GraphX实现代码。
 

interpreter:代码交互式Shell的代码量为3300行。
 

mllib:代表MLlib算法实现的代码量。
 

sql代表Spark SQL的代码量。

 

逻辑架构

ClusterManager:在Standalone模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器。
 

Worker:从节点,负责控制计算节点,启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。
 

Driver:运行Application的main()函数并创建SparkContext。
 

Executor:执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。
 

SparkContext:整个应用的上下文,控制应用的生命周期。
 

RDD:Spark的基本计算单元,一组RDD可形成执行的有向无环图RDD Graph。
 

DAG Scheduler:根据作业(Job)构建基于Stage的DAG,并提交Stage给TaskScheduler。
 

TaskScheduler:将任务(Task)分发给Executor执行。
 

SparkEnv:线程级别的上下文,存储运行时的重要组件的引用。
 

SparkEnv内创建并包含如下一些重要组件的引用。
 

MapOutPutTracker:负责Shuffle元信息的存储。
 

BroadcastManager:负责广播变量的控制与元信息的存储。
 

BlockManager:负责存储管理、创建和查找块。
 

MetricsSystem:监控运行时性能指标信息。
 

SparkConf:负责存储配置信息。

 

RDD的物理形式

Block-Manager管理RDD的物理分区,每个Block就是节点上对应的一个数据块,可以存储在内存或者磁盘。而RDD中的partition是一个逻辑数据块,对应相应的物理块Block。本质上一个RDD在代码中相当于是数据的一个元数据结构,存储着数据分区及其逻辑结构映射关系,存储着RDD之前的依赖转换关系。

物理上,RDD对象实质上是一个元数据结构,存储着Block、Node等的映射关系,以及其他的元数据信息。一个RDD就是一组分区,在物理数据存储上,RDD的每个分区对应的就是一个Block,Block可以存储在内存,当内存不够时可以存储到磁盘上。

每个Block中存储着RDD所有数据项的一个子集,暴露给用户的可以是一个Block的迭代器(例如,用户可以通过mapPartitions获得分区迭代器进行操作),也可以就是一个数据项(例如,通过map函数对每个数据项并行计算)

如果是从HDFS 等外部存储作为输入数据源,数据按照HDFS中的数据分布策略进行数据分区,HDFS中的一个Block对应Spark的一个分区。同时Spark支持重分区,数据通过Spark默认的或者用户自定义的分区器决定数据块分布在哪些节点

 

共有 人打赏支持
粉丝 5
博文 53
码字总数 47326
×
bigsloth
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: