Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
stark_summer 发表于3年前
Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
  • 发表于 3年前
  • 阅读 54
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序

从前一篇文章中的wordcount的输出结果可以看出来结果是未经排序的,如何对spark的输出结果进行排序呢?

先对reduceByKey的结果进行key,value位置置换(数字,字符),然后再进行数字排序,再将key,value位置置换后就是排序后的结果了,最终将结果存储到HDFS中








可以发现我们成功对输出结果进行排序!

共有 人打赏支持
粉丝 59
博文 75
码字总数 51050
×
stark_summer
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: