【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节②
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节②
Spark亚太研究院 发表于3年前
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节②
  • 发表于 3年前
  • 阅读 71
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

三, Spark的RDD

在Spark中一切都是以RDD为基础和核心的:

 

每个RDD的API如下所示:

Spark官方文档中给出了的众多的RDD:

RDD中的操作分为transformations和actions两种:

下面举一个例子来说明RDD的使用:

另外有两个特殊的RDD:

他们都是controlling operations:

RDD在执行的时候都是并行的:

四, Spark的高容错机制lineage

基于DAG图,lineage是轻量级而高效的:

操作之间相互具备lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个Split的特定部分即可:

 

共有 人打赏支持
粉丝 65
博文 73
码字总数 35236
×
Spark亚太研究院
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: