Spark(Storeage)
博客专区 > 赵-猛 的博客 > 博客详情
Spark(Storeage)
赵-猛 发表于7个月前
Spark(Storeage)
  • 发表于 7个月前
  • 阅读 1
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: 存储管理器

存储管理

    diskstore
    memorystore


一大组件

  BlockManager

 

消息通信(Actor模型)

    master(BlockManager) to slave(BlockManager)
    slave(BlockManager) to master(BlockManager)


    
RDD/Block

  在调度层,RDD由多个partition/bucket构成
  在存储层,RDD又是以block为单位进行存取,
     对于DiskStore,则一个blcok一个物理文件,再由hash map管理id和路径
     对于MemoryStore,则直接由HashMap管理id和block
  在task的rdd.iterator()中,即partition/bucket要进行运算时,会处理通过BlockManager管理block

 

共有 人打赏支持
粉丝 4
博文 80
码字总数 395402
×
赵-猛
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: