Spark Streaming(3):Windows设置checkpoint目录方法
博客专区 > Joe_Wu 的博客 > 博客详情
Spark Streaming(3):Windows设置checkpoint目录方法
Joe_Wu 发表于4个月前
Spark Streaming(3):Windows设置checkpoint目录方法
  • 发表于 4个月前
  • 阅读 11
  • 收藏 0
  • 点赞 0
  • 评论 0

引用:http://blog.csdn.net/u012684933/article/details/46124957

Windows环境下设置spark streaming checkpoint:

1.下载zip包,比如解压到D:\checkpoint\

https://github.com/srccodes/hadoop-common-2.2.0-bin/archive/master.zip

2.在spark程序执行前添加一行代码:

System.setProperty("hadoop.home.dir", "D:\\checkpoint\\hadoop-common-2.2.0-bin-master");

3.最后这样设置checkpoint:

jssc.checkpoint("file:///D:/checkpoint/");

 

标签: Spark Streaming
共有 人打赏支持
粉丝 2
博文 9
码字总数 6567
×
Joe_Wu
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: