文档章节

7个小练习帮你打通SparkCore和SparkSQL编程任督二脉

大数据之路
 大数据之路
发布于 2012/10/26 00:38
字数 420
阅读 3848
收藏 10

本文将通过7个简单的小练习,对比示范SparkCore和SparkSQL编程的方法。除了WordCount词频统计这个典型的处理非结构数据的例子外,本文示范的大部分例子中,使用SparkSQL的编程接口都会更加简洁易懂。

一,求平均值

问题:给定一组整数,求它们的平均值。

(注意:这些整数可能加起来会很大,要考虑溢出可能)

二,WordCount词频统计

问题:读取文档中的单词,统计每个单词出现的词数。

三,求TopN

问题:给定学生姓名和成绩等信息,找出成绩前三名的学生。

四,求最大值最小值

问题:给定一组数,找出其中的最大值和最小值。

五,排序并添加序号

问题:给定一组数,对其从小到大排序,并添加从0开始的序号。

六,二次排序

问题:给定学生的成绩和年龄等信息,根据学生的成绩从大到小排序,如果成绩相等,根据年龄从大到小排序。

七,连接操作

问题:给定班级信息表和学生成绩表,对其进行连接操作,找出班级平均分在75分以上的班级。

 

本文转载自:https://mp.weixin.qq.com/s?__biz=MzU3OTQzNTU2OA==&mid=2247485223&idx=1&sn=61a8c426b516b364610aaf3...

大数据之路
粉丝 1605
博文 515
码字总数 331782
作品 0
武汉
架构师
私信 提问
新课上线|Python实现图片拼接与混合、XML-RPC文件共享程序等

关注「实验楼」,每天分享一个项目教程 最近又上线了哪些新课程?快来看看吧~ 会 员 课 一、《Python3 实现图片拼接与混合》 课程来源:selfim 课程简介:本课程主要是利用 Python 的第三方...

moy37rqw1jarn33bgzk
2018/05/12
0
0
java实现golang类似的chan

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lastsweetop/article/details/83992037 java版本的CSP操作 基本的csp操作上面就可以了,但是如果想实现golan...

吴冬冬
2018/11/12
0
0
希望大家帮我推荐几本C语言,数据结构,算法方面的书。谢谢啦。

之前学汇编的时候,用的是IBM-PC 汇编语言程序设计,结果这本书直接摧毁了我对汇编的兴趣,太多东西,太复杂了,我只是脑袋很笨的人。 后来朋友推荐了黄爽的汇编书籍,拿来一看,顿时觉得任督...

巴顿
2012/10/23
243
3
挨踢部落故事汇(15):不断拓新成为科技大潮中的弄潮儿

周佳是个资深宅男,平时有时间主要是宅。比较喜欢研究心理学方面的书籍,平时喜欢看书,给大家安利一本书《超越自卑》,个体心理学大师级著作。兴致来了能玩一天游戏,经常看电影。在工作方面...

51CTO编辑部
2017/06/12
0
0
Spring--注解之@Qualifier

Spring注解之@Qualifie 一,问题描述 使用Spring也有一段时间了,记得以前看到@Qualifier这个注解都不知所以然,经常百度, 谷歌,但是今天看源码的时候让我恍然大悟啊,仿佛任督二脉被打通的...

ifanjiaxin
2015/05/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

正则表达式匹配

请实现一个函数用来匹配包括 '.' 和 '*' 的正则表达式。模式中的字符 '.' 表示任意一个字符,而 '*' 表示它前面的字符可以出现任意次(包含 0 次)。 在本题中,匹配是指字符串的所有字符匹配...

Garphy
43分钟前
5
0
Laravel 5.1的多路由文件的配置

默认的路由配置文件只有一个, \app\Http\routes.php。 在同一个文件中写路由容易起冲突,文件会越来越大,就需要定义多个路由文件。 找到加载\app\Http\routes.php的文件, 打开\app\Provid...

mdoo
今天
5
0
Hibernate 5 开始使用指南前言

同时在面向对象软件和关系型数据库进行工作,可能会非常复杂和费时。数据在对象和数据库之间可能会不一致,然后导致开发成本会非常高。 Hibernate 是一个针对 Java 环境的对象关系映射(Obj...

honeymoose
今天
5
0
聊聊nacos ServiceManager的UpdatedServiceProcessor

序 本文主要研究一下nacos ServiceManager的UpdatedServiceProcessor ServiceManager.init nacos-1.1.3/naming/src/main/java/com/alibaba/nacos/naming/core/ServiceManager.java @Compone......

go4it
今天
7
0
正则表达式的使用(QQ格式的判断与空格的切割)

//正则表达式的使用 public static void main(String[] args) throws IOException, ClassNotFoundException { //test1("123456"); test2("-1 99 kk"); } /** * ......

zhengzhixiang
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部