1
2
3
4
5
6
7
连击 天
fork: star:
加载中
顶
原
剖析Hadoop和Spark的Shuffle过程差异（二）
上一篇博客《剖析Hadoop和Spark的Shuffle过程差异（一）》剖析了Hadoop MapReduce的Shuffle过程，那么本篇博客，来聊一聊Spark shuffle。 Spark shuffle相对来说更简单，因为不要求全局有序，...
顶
原
Spark RDD操作之Map系算子
本篇博客将介绍Spark RDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法，经过call方法的计算之后，逐个返回，生成新的RDD，计算之后，记录数不会缩减。示例代码，将每个...
顶
原
荐
剖析Hadoop和Spark的Shuffle过程差异（一）
一、前言 对于基于MapReduce编程范式的分布式计算来说，本质上而言，就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想，让每个节点只计算部分数据，也就是只处理一...
顶
原
Spark RDD操作之ReduceByKey
一、reduceByKey作用 reduceByKey将RDD中所有K,V对中，K值相同的V进行合并，而这个合并，仅仅根据用户传入的函数来进行，下面是wordcount的例子。 import java.util.Arrays; import java.uti...
没有更多内容
加载失败，请刷新页面
没有更多内容
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
公众号
视频号
问题反馈
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
评论删除后，数据将无法恢复