Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKe
Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKe
stark_summer 发表于3年前
Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKe
  • 发表于 3年前
  • 阅读 95
  • 收藏 1
  • 点赞 0
  • 评论 1

腾讯云 新注册用户 域名抢购1元起>>>   

摘要: Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践

下面看下union的使用:


使用collect操作查看一下执行结果:



再看下groupByKey的使用:


执行结果:



join操作就是一个笛卡尔积操作的过程,如下示例:



对rdd3和rdd4执行join操作:



使用collect查看执行结果:



可以看出join操作完全就是一个笛卡尔积的操作;

reduce本身在RDD操作中属于一个action类型的操作,会导致job的提交和执行:



下面我们看下lookup的使用:


执行结果:


 

共有 人打赏支持
粉丝 59
博文 75
码字总数 51050
评论 (1)
阿耀
154
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: