文档章节

Spark Streaming(3):Windows设置checkpoint目录方法

Joe_Wu
 Joe_Wu
发布于 2017/08/10 12:21
字数 81
阅读 61
收藏 0

引用:http://blog.csdn.net/u012684933/article/details/46124957

Windows环境下设置spark streaming checkpoint:

1.下载zip包,比如解压到D:\checkpoint\

https://github.com/srccodes/hadoop-common-2.2.0-bin/archive/master.zip

2.在spark程序执行前添加一行代码:

System.setProperty("hadoop.home.dir", "D:\\checkpoint\\hadoop-common-2.2.0-bin-master");

3.最后这样设置checkpoint:

jssc.checkpoint("file:///D:/checkpoint/");

 

© 著作权归作者所有

Joe_Wu
粉丝 1
博文 9
码字总数 6567
作品 0
徐汇
程序员
私信 提问
加载中

评论(0)

Spark的checkpoint源码讲解

一、Checkpoint相关源码分为四个部分 1、Checkpoint的基本使用:sparkcore & sparkstreaming 2、初始化的源码 3、Checkpoint的job生成及执行的过程 4、读Checkpoint的过程 二、Checkpoint的基...

osc_3jn62rhp
2019/06/04
3
0
Spark Streaming 缓存与持久化机制+Checkpoint机制+部署、升级和监控应用程序

一.缓存与持久化机制 与RDD类似,Spark Streaming也可以让开发人员手动控制,将数据流中的数据持久化到内存中。对DStream调用persist()方法,就可以让Spark Streaming自动将该数据流中的所有...

osc_d2xp8kc1
2019/08/21
6
0
spark checkpoint详解

checkpoint在spark中主要有两块应用:一块是在spark core中对RDD做checkpoint,可以切断做checkpoint RDD的依赖关系,将RDD数据保存到可靠存储(如HDFS)以便数据恢复;另外一块是应用在spa...

osc_ljezv5mf
2018/05/07
0
0
Spark checkpoint机制简述

本文主要简述spark checkpoint机制,快速把握checkpoint机制的来龙去脉,至于源码可以参考我的下一篇文章。 1、Spark core的checkpoint 1)为什么checkpoint? 分布式计算中难免因为网络,存储...

osc_jeoj68q8
2018/06/14
1
0
日志服务(SLS)集成 Spark 流计算实战

前言 日志服务作为一站式的日志的采集与分析平台,提供了各种用户场景的日志采集能力,通过日志服务提供的各种与·与SDK,采集客户端(Logtail),Producer,用户可以非常容易的把各种数据源...

阿里云云栖号
01/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Python基础-04元组

4.元组     元组的主要特性为: 1.元组在创建之后,具有不可以更改的特性,因此不能直接给元组的元素赋值 2.元组的元素类型可以为任意类型,如字典、字符串、列表等 3.元组常用于在程序的整...

osc_b2jll5m6
47分钟前
22
0
怎么在流程图中插入超链接?迅捷画图带你两步解决!

怎么在流程图中插入超链接?如何在WORD中插入超链接很多人都知道,但是对于陌生的流程图,很多人在进行流程图展示和讲解的时候,都会选择提前将需要的网页打开,然后手动进行更换。 这种手动...

真不莲
47分钟前
19
0
直播中音视频处理的一般流程

数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示 1、数据采集: 摄像机及拾音器收集视频及音频数据,此时得到的为原始数据 涉及技术或协议: 摄像机:CCD、CMOS 拾音器:声...

图玩智能科技
48分钟前
27
0
IntelliJ中的main函数和System.out.println()快捷键

https://blog.csdn.net/shijiebei2009/article/details/44726433

诗书易经
48分钟前
19
0
python 数据可视化实战(1)折线图绘制

  本篇博客新开一个数据分析后的数据可视化的例子讲解,每一篇博客是一个例子。   这节课学习如何绘制一个折线图。题目如下:   代码如下: import matplotlib.pyplot as pltimport m...

osc_xdc1vjza
48分钟前
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部