7个小练习帮你打通SparkCore和SparkSQL编程任督二脉

2012/10/26 00:38
阅读数 5.2K

本文将通过7个简单的小练习,对比示范SparkCore和SparkSQL编程的方法。除了WordCount词频统计这个典型的处理非结构数据的例子外,本文示范的大部分例子中,使用SparkSQL的编程接口都会更加简洁易懂。

一,求平均值

问题:给定一组整数,求它们的平均值。

(注意:这些整数可能加起来会很大,要考虑溢出可能)

二,WordCount词频统计

问题:读取文档中的单词,统计每个单词出现的词数。

三,求TopN

问题:给定学生姓名和成绩等信息,找出成绩前三名的学生。

四,求最大值最小值

问题:给定一组数,找出其中的最大值和最小值。

五,排序并添加序号

问题:给定一组数,对其从小到大排序,并添加从0开始的序号。

六,二次排序

问题:给定学生的成绩和年龄等信息,根据学生的成绩从大到小排序,如果成绩相等,根据年龄从大到小排序。

七,连接操作

问题:给定班级信息表和学生成绩表,对其进行连接操作,找出班级平均分在75分以上的班级。

 

展开阅读全文
打赏
0
10 收藏
分享
加载中
更多评论
打赏
0 评论
10 收藏
0
分享
返回顶部
顶部