文档章节

spark中flatmap和map的区别

牧师-Panda
 牧师-Panda
发布于 2017/08/18 01:04
字数 143
阅读 32
收藏 0

假设有一个序列,里面装了一些人

val persons = Seq(john, mary, alice, bob)

每个人有一个朋友列表,可以这么访问:

person.friends

比如mary.friends可能返回Seq(harry, hermione, ron)

那么我们用map的话,可以把persons里面的每一个元素都变成朋友列表:

persons.map(person=>person.friends)

seq(
    seq(harry, hermione, ron)
    seq(sam, frodo)
    seq()
    seq(jamie, tyrian, cersei)
)

然而你希望只需要访问一层就可以得到对象序列,这时候就可以用flatmap解决

persons.flatmap(person=>person.friends)

seq(
    harry, hermione, ron,
    sam, frodo,
    jamie, tyrian, cersei
)

 

© 著作权归作者所有

共有 人打赏支持
牧师-Panda
粉丝 32
博文 146
码字总数 180044
作品 0
浦东
私信 提问
实例验证spark开发中的map与flatmap的区别

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_32265569/article/details/83450789 经常在map与flatmap中混淆,应该很多开发人员也会犯这个错误。 不...

独立小桥风满袖
10/27
0
0
Spark学习记录(一)Spark 环境搭建以及worldCount示例

安装Spark ------------------- 首先,安装spark之前需要先安装scala,并且安装scala的版本一定要是将要安装的spark要求的版本。比如spark2.1.0 要求scala 2.11系列的版本,不能多也不能少 ...

我爱春天的毛毛雨
11/14
0
0
最最简单的~WordCount¬

sc.textFile("hdfs://....").flatMap(line =>line.split(" ")).map(w =>(w,1)).reduceByKey(+).foreach(println) 不使用reduceByKey sc.textFile("hdfs://....").flatMap(l=>l.split(" ")).m......

雪童子
2015/10/21
0
0
[Kafka与Spark集成系列二] Spark的安装及简单应用

版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/82082019 下载Spark安装包是安装的第一步,下载地址为http://spark.apache...

朱小厮
08/26
0
0
Spark与Hadoop计算模型的比较分析

Spark与Hadoop计算模型的比较分析 最近很多人都在讨论Spark这个貌似通用的分布式计算模型,国内很多机器学习相关工作者都在研究和使用它。   Spark是一个通用的并行计算框架,由UCBerkele...

jmppok
2015/03/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Ubuntu16.04下安装docker

[TOC] 本文开发环境为Ubuntu 16.04 LTS 64位系统,通过apt的docker官方源安装最新的Docker CE(Community Edition),即Docker社区版,是开发人员和小型团队的理想选择。 1. 开始安装 1.1 由于...

豫华商
31分钟前
3
0
使用XShell工具密钥认证登录Linux系统

如果你是一名Linux运维,那么Linux服务器的系统安全问题,可能是你要考虑的,而系统登录方式有两种,密码和密钥。哪一种更加安全呢? 无疑是后者! 这里我为大家分享用Xshell利器使用密钥的方...

dragon_tech
42分钟前
1
0
day178-2018-12-15-英语流利阅读-待学习

“真蛛奶茶”了解一下?蜘蛛也会产奶了 Lala 2018-12-15 1.今日导读 “蛋白质含量是牛奶的 4 倍,并有着更低的脂肪和含糖量”,听起来诱人又美味的并不是羊奶或豆奶,而是你可能打死都想不到...

飞鱼说编程
48分钟前
9
0
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents

场景重现 npm install --verbose 安装依赖的时,出现如下警告 强迫症患者表示不能接受 npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules\fsevents):npm WARN......

taadis
52分钟前
2
0
OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
363
6

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部