文档章节

Spark RDD

目光
 目光
发布于 2017/04/06 11:26
字数 81
阅读 28
收藏 0

Spark RDD(弹性分布式数据集)

创建RDD

读取文本创建

lines=sc.textFile("READEME.md")

在驱动器程序中对一个集合进行并行化创建

lines = sc.parallelize(["hellp world","hi"])

RDD操作

转化操作:

例如:RDD数据集是{1,2,3,3}

行动操作:

例如:RDD数据集是{1,2,3,3}

 

© 著作权归作者所有

上一篇: kettle-数据比较
下一篇: 认识Spark
目光

目光

粉丝 6
博文 42
码字总数 10588
作品 0
昌平
程序员
私信 提问

暂无文章

spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
7分钟前
0
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部