文档章节

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和co

stark_summer
 stark_summer
发布于 2015/01/27 15:16
字数 195
阅读 71
收藏 1

精选30+云产品,助力企业轻松上云!>>>

首先以spark的本地模式测试spark API,以local的方式运行spark-shell:



先从parallelize入手吧:



map操作后结果:



下面看下 filter操作:


filter执行结果:


我们用最正宗的scala函数式编程的风格:


执行结果:


从结果 可以看出来,与之前那种分步奏方式结果是一样的

但采用这种方式,即是复合scala风格的写法,也是符合spark的应用程序风格的写法,在spark的编程中,大多数功能的实现都是只要一行代码即可完成。


stark_summer
粉丝 61
博文 75
码字总数 51050
作品 0
朝阳
CEO
私信 提问
加载中
请先登录后再评论。
Python3实战Spark大数据分析及调度

Python3实战Spark大数据分析及调度 百度网盘下载地址 神秘--》扣扣 号:--——》:2304636824 课程介绍 1-1 PySpark导学 1-2 OOTB环境演示 第2章 实战环境搭建 工欲善其事必先利其器,本章讲述...

q_2304636824
2018/07/29
96
0
Python3实战Spark大数据分析及调度

Python3实战Spark大数据分析及调度 网盘下载 q_——2304636824 第1章 课程介绍 课程介绍 1-1 PySpark导学 1-2 OOTB环境演示 第2章 实战环境搭建 工欲善其事必先利其器,本章讲述JDK、Scala、...

q_2304636824
2018/08/11
43
0
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地...

Spark亚太研究院
2014/08/29
1.7K
0
spark 学习路线及参考课程

一、Scala编程详解: 第1讲-Spark的前世今生 第2讲-课程介绍、特色与价值 第3讲-Scala编程详解:基础语法 第4讲-Scala编程详解:条件控制与循环 第5讲-Scala编程详解:函数入门 第6讲-Scala编...

osc_s5wa3ebb
2018/05/07
28
0
Spark RDD与Spark API编程实践2018.4.25

参考书目《 Spark源码核心与开发实战》 》 弹性分布式数据集 (RDD, Resilient Distributed Databases) 是Spark的核心抽象 是分布式内存的抽象使用 RDD表示已被分区的、只读的,并提供了一组丰...

qq_28088259
06/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【题解】p6160 [Cnoi2020]向量

原题传送门 序 啊又是勤奋学习的一天...... 这种mo题目能做出来纯靠感觉。 样例分析 样例输入给了组3、4、5的勾股数,而输出正好是三向量加和为0时的答案。 嗯我好像感觉到了什么...... 于是...

osc_4dady4pk
12分钟前
13
0
【题解】p6160 [Cnoi2020]向量

原题传送门 序 啊又是勤奋学习的一天...... 这种mo题目能做出来纯靠感觉。 样例分析 样例输入给了组3、4、5的勾股数,而输出正好是三向量加和为0时的答案。 嗯我好像感觉到了什么...... 于是...

osc_a7a1prn6
13分钟前
0
0
FreeSql (一)入门

FreeSql是一个功能强大的 .NET ORM 功能库,支持 .NetFramework 4.0+、.NetCore 2.1+、Xamarin 等支持 NetStandard 所有运行平台。(QQ群:4336577) 模型 FreeSql 使用模型执行数据访问,模...

osc_smzoc82r
14分钟前
12
0
TCP协议粘包问题详解

TCP协议粘包问题详解 前言   在本章节中,我们将探讨TCP协议基于流式传输的最大一个问题,即粘包问题。本章主要介绍TCP粘包的原理与其三种解决粘包的方案。并且还会介绍为什么UDP协议不会产...

osc_tjnx25e9
16分钟前
0
0
Ubuntu16.04密码正确 进不去桌面系统(已测试恢复正常)

遇到过两次ubuntu输入密码正确,但是进不去系统,输入密码后,跳转到一下界面 之后又返回到登陆界面,一直这样循环输入密码。 Guest用户可以。 解决办法:   1。进入tty下 :ctrl+alt+F1(F...

osc_lfbryx1h
18分钟前
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部