文档章节

countByValueAndWindow 与countByWindow=reduceByWindow与reduceByKeyAndWindow

新大陆2号
 新大陆2号
发布于 2017/03/30 09:18
字数 139
阅读 40
收藏 0

countByValueAndWindow 与countByWindow区别

看源码countByWindow 首先把内容转成1的数字的形式 ,然后调用  reduceByWiindow 函数

def countByWindow(  

    windowDuration: Duration,  

    slideDuration: Duration): DStream[Long] = ssc.withScope {  

  this.map(_ => 1L).reduceByWindow(_ + _, _ - _, windowDuration, slideDuration)  

//窗口下的DStream进行map操作,把每个元素变为1之后进行reduceByWindow操作  

 }  

countByValueAndWindow  首先把内容转为Tuple2(a,1)元组形式,然后调用reduceByKeyAndWindow操作

def countByValueAndWindow(  

    windowDuration: Duration,  

    slideDuration: Duration,  

    numPartitions: Int = ssc.sc.defaultParallelism)  

    (implicit ord: Ordering[T] = null)  

: DStream[(T, Long)] = ssc.withScope {  

  this.map((_, 1L)).reduceByKeyAndWindow(  

    (x: Long, y: Long) => x + y,  

    (x: Long, y: Long) => x - y,  

    windowDuration,  

    slideDuration,  

    numPartitions,  

    (x: (T, Long)) => x._2 != 0L  

  )  

}  

© 著作权归作者所有

新大陆2号
粉丝 0
博文 8
码字总数 2458
作品 0
东城
私信 提问
13.window滑动窗口以及热点搜索词滑动统计案例实战

window滑动窗口 Spark Streaming提供了滑动窗口操作的支持,从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据,会被聚合起来执行计算操作,然后生成的RDD,会...

weixin_32265569
2017/11/18
0
0
Spark Streaming 滑动窗口

Spark Streaming提供了滑动窗口操作的支持,从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据,会被聚合起来执行计算操作,然后生成的RDD,会作为window DS...

瑞查德-Jack
04/30
67
0
SparkStreaming Java

Spark streaming是Spark核心API的一个扩展,它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据,也可以通过由 ...

Yulong_
2017/08/14
156
0
Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Stre

1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter...

莫问viva
2016/02/03
669
0
实时流计算Spark Streaming原理介绍

1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter...

xiangxizhishi
2017/07/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
699
10
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
39
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
25
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
74
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
73
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部