文档章节

troubleshooting 错误的持久化方式以及checkpoint的使用

crayzer_yixiu
 crayzer_yixiu
发布于 2016/10/30 17:29
字数 898
阅读 29
收藏 0

        来说下CheckPoint,有时候它对故障会产生效果,它最起效果的时候是什么时候呢?如果缓存BlockManager会根据你的缓存策略去把数据存到内存或者磁盘!持久化,大多数时候,都是会正常工作的。但是就怕,有些时候,会出现意外。比如说,缓存在内存中的数据,可能莫名其妙就丢失掉了。Executor进程挂掉了。或者说,存储在磁盘文件中的数据,莫名其妙就没了,文件被误删了。企业虽然没碰到过,但是有可能。

  • 出现上述情况的时候,接下来,如果要对这个RDD执行某些操作,可能会发现RDD的某个partition找不到了。对消失的partition重新计算,计算完以后再缓存和使用。有些时候,计算某个RDD,可能是极其耗时的。可能RDD之前有大量的父RDD。那么如果你要重新计算一个partition,可能要重新计算之前所有的父RDD对应的partition。
  • 这种情况下,就可以选择对这个RDD进行checkpoint,以防万一。进行checkpoint,就是说,会将RDD的数据,持久化一份到容错的文件系统上(比如hdfs)。在对这个RDD进行计算的时候,如果发现它的缓存数据不见了。优先就是先找一下有没有checkpoint数据(到hdfs上面去找)。如果有的话,就使用checkpoint数据了。不至于说是去重新计算。
  • checkpoint,其实就是可以作为是cache的一个备胎。如果cache失效了,checkpoint就可以上来使用了。checkpoint有利有弊,利在于,提高了spark作业的可靠性,一旦发生问题,还是很可靠的,不用重新计算大量的rdd;但是弊在于,进行checkpoint操作的时候,也就是将rdd数据写入hdfs中的时候,还是会消耗性能的。
  • checkpoint,用性能换可靠性。先做了缓冲后做了checkpoint,比如到HDFS那就是会从缓存存到HDFS上面进行checkpoint操作!后面我们再对这个RDD进行使用,然后其实它有个组件叫CacheManager,然后CacheManager会到BlockManager上面去找数据,如果有就通过CacheManager拿到数据,如果没有就会从checkpoint的地方去拿数据

checkpoint原理:

  1. 在代码中,用SparkContext,设置一个checkpoint目录,可以是一个容错文件系统的目录,比如hdfs;
  2. 在代码中,对需要进行checkpoint的rdd,执行RDD.checkpoint();
  3. RDDCheckpointData(spark内部的API),接管你的RDD,会标记为marked for checkpoint,准备进行checkpoint
  4. 你的job运行完之后,会调用一个finalRDD.doCheckpoint()方法,会顺着rdd lineage,回溯扫描,发现有标记为待checkpoint的rdd,就会进行二次标记,inProgressCheckpoint,正在接受checkpoint操作
  5. job执行完之后,就会启动一个内部的新job,去将标记为inProgressCheckpoint的rdd的数据,都写入hdfs文件中。(备注,如果rdd之前cache过,会直接从缓存中获取数据,写入hdfs中;如果没有cache过,那么就会重新计算一遍这个rdd,再checkpoint)
  6. 将checkpoint过的rdd之前的依赖rdd,改成一个CheckpointRDD*,强制改变你的rdd的lineage。后面如果rdd的cache数据获取失败,直接会通过它的上游CheckpointRDD,去容错的文件系统,比如hdfs中,获取checkpoint的数据。

说一下checkpoint的使用

  1. SparkContext,设置checkpoint目录
  2. 对RDD执行checkpoint操作

© 著作权归作者所有

crayzer_yixiu
粉丝 26
博文 57
码字总数 87921
作品 0
杭州
高级程序员
私信 提问
揭秘Spark应用性能调优

引言:在多台机器上分布数据以及处理数据是Spark的核心能力,即我们所说的大规模的数据集处理。为了充分利用Spark特性,应该考虑一些调优技术。本文每一小节都是关于调优技术的,并给出了如何...

博文视点
2017/04/21
0
0
Flink 增量式checkpoint 介绍

在Flink中管理大量的状态--增量式的检查点的介绍 本文由Flink 博客 翻译而来,为了叙述的可读性和流畅性,笔者做了少量的修改。 Apache Flink是为了“有状态”的处理流式数据建立的。那么,在...

moyiguke
2018/11/08
1K
0
spark优化和故障排除

http://spark.apache.org/docs/1.6.2/tuning.html http://blog.csdn.net/anzhsoft/article/details/42417533 1、算子优化、filter + coalecse filter不进行重新分区,coalecse是进行重新分区......

captainliu
2016/11/13
412
0
MySql的checkpoint

前言 对数据库中数据进行增删改时,都是先在buffer pool中完成,为了提高事务的操作效率,buffer pool中数据并不会立即写入磁盘,所以可能出现内存中数据和磁盘数据不一致的情况。 如果buffe...

春哥大魔王的博客
04/16
19
0
Flink 状态管理与checkPoint数据容错机制深入剖析-Flink牛刀小试

1 何为状态 在批处理过程中,数据是划分为块分片去完成的,然后每一个Task去处理一个分片。当分片执行完成后,把输出聚合起来就是最终的结果。在这个过程当中,对于state的需求还是比较小的。...

xiaomin0322
06/03
17
0

没有更多内容

加载失败,请刷新页面

加载更多

006-Docker中导出单个或多个tar包

docker中导出单个镜像和多个镜像的tar包 docker save [images] > [name.tar] docker save [images] [images] > [name.tar]...

伟大源于勇敢的开始
14分钟前
4
0
Kotlin基础语法学习

安装好安卓studio,以及插件支持Kotlin 就可以在创建项目的时候选择 Kotlin语言了。 https://www.jianshu.com/p/4ab13691d681 参考手册: https://www.runoob.com/kotlin/otlin-android-setu...

T型人才追梦者
38分钟前
4
0
java实现简单计算器

1.概述 之前作者写过一篇文章,也是关于计算器的,用的是C++与Qt,链接在这里 这次用java的swing写的(这差距好像有点大,好吧是qt太强了). 先上图: 2.UI 总体布局使用流布局. (1)文本框 文本框就...

Blueeeeeee
39分钟前
4
0
纯CSS实现DIV悬浮(固定位置)

纯CSS实现的DIV悬浮效果(固定位置),兼容常用的浏览器:IE8、360、FireFox、Chrome、Safari、Opera、傲游、搜狗、世界之窗等。效果如下: 实现代码: <!DOCTYPE html> <html> <head> <meta ...

独钓渔
今天
5
0
OSChina 周二乱弹 —— 给我来个女菩萨

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @这次装个文艺青年吧 :#今日歌曲推荐#分享XXXTENTACION/Travis Barker的单曲《Pain = BESTFRIEND》: 《Pain = BESTFRIEND》- XXXTENTACION/...

小小编辑
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部