文档章节

spark streaming 里的transform 与foreachRDD

新大陆2号
 新大陆2号
发布于 2017/03/30 16:14
字数 156
阅读 148
收藏 0

spark streaming 里的transform 转换函数里是不能有关于rdd的action操作,有也不会执行,只能使用普通算子,也不能有任何的输出操作,不会执行。

foreachRDD 里可以有关于rdd的action操作,也可以有其他算子操作。

另外ssc.sparkContext 这个是不是序列化的,如果执行了ssc.checkpoint

则该语句会报错AccumulatorBorder.getAccumulator(ssc.sparkContext)

所以如果sparkContext 最好不要作为函数参数传来传去,如果非要传输可以使用当前算子的sparkContext

         dcorrect.count().foreachRDD{ x=>  x.partitions
                                       AccumulatorBorder.getAccumulator(x.sparkContext).add(x.collect()(0))
                                       print(AccumulatorBorder.getAccumulator(x.sparkContext).value+"=getAccumulator foreachRDD")
                                     }
         

© 著作权归作者所有

新大陆2号
粉丝 0
博文 8
码字总数 2458
作品 0
东城
私信 提问
Spark Streaming 是如何提交任务的

赵法宪 大数据爱好者,对部分大数据源码有过研究。熟悉Hdfs, HBase, Spark等相关开发。 Spark Streaming是如何提交任务的? Spark Streaming 是现在实时消息处理的解决方案之一,本文是简单介...

Qunar技术沙龙
2018/06/20
0
0
Spark Streaming流式处理

Spark Streaming介绍 Spark Streaming概述 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. 它可以非常容易的构建一个可扩展、具有容错机制的流式......

jiFeng丶
2018/07/26
0
0
整合Kafka到Spark Streaming——代码示例和挑战

作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark...

stark_summer
2015/03/03
781
0
干货 | Spark Streaming 和 Flink 详细对比

本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Stream 与 Flink,希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇...

xiaomin0322
05/29
40
0
sparkStreaming基本概念

概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过...

freeli
2018/11/20
250
0

没有更多内容

加载失败,请刷新页面

加载更多

Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
29分钟前
2
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部