countByValueAndWindow 与countByWindow=reduceByWindow与reduceByKeyAndWindow

原创
2017/03/30 09:18
阅读数 294

countByValueAndWindow 与countByWindow区别

看源码countByWindow 首先把内容转成1的数字的形式 ,然后调用  reduceByWiindow 函数

def countByWindow(  

    windowDuration: Duration,  

    slideDuration: Duration): DStream[Long] = ssc.withScope {  

  this.map(_ => 1L).reduceByWindow(_ + _, _ - _, windowDuration, slideDuration)  

//窗口下的DStream进行map操作,把每个元素变为1之后进行reduceByWindow操作  

 }  

countByValueAndWindow  首先把内容转为Tuple2(a,1)元组形式,然后调用reduceByKeyAndWindow操作

def countByValueAndWindow(  

    windowDuration: Duration,  

    slideDuration: Duration,  

    numPartitions: Int = ssc.sc.defaultParallelism)  

    (implicit ord: Ordering[T] = null)  

: DStream[(T, Long)] = ssc.withScope {  

  this.map((_, 1L)).reduceByKeyAndWindow(  

    (x: Long, y: Long) => x + y,  

    (x: Long, y: Long) => x - y,  

    windowDuration,  

    slideDuration,  

    numPartitions,  

    (x: (T, Long)) => x._2 != 0L  

  )  

}  

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部