加载中
总结!Java8 增强的Future:CompletableFuture

github地址:https://gitee.com/zhangzeli/projects

Spark DAG概述

一、 DAG定义 DAG每个节点代表啥?代表的一个RDD 这里再次复习RDD的5大特性 一组分片(Partition),即数据集的基本组成单位。对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算...

2018/10/23 16:43
31
设计模式:Command(命令)

1、Command定义 将来自客户端的请求传入一个对象,无需了解这个请求激活的 动作或有关接受这个请求的处理细节。 这是一种两台机器之间通讯联系性质的模式,类似传统过程语 言的 CallBack功能...

2018/10/18 16:09
3
Spark中foreachPartition和mapPartitions的区别

spark的运算操作有两种类型:分别是Transformation和Action,区别如下: Transformation:代表的是转化操作就是我们的计算流程,返回是RDD[T],可以是一个链式的转化,并且是延迟触发的。 Ac...

2018/10/18 15:44
11
Spark:foreach和foreachpartition的区别

一、RDD基础 1.RDD分布式数据集的五大特性 (1)A list of partitions (2)A function for computing each split (3)A list of dependencies on other RDDs (4)Optionally,a Partitione...

2018/10/18 15:09
51
Spark(一) 架构及生态

通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存,而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算,有时我们可能需要处理的数据量并不大,但是计算很...

Spark core基础

Spark RDD的五大特性 RDD是由一系列的Partition组成的,如果Spark计算的数据是在HDFS上那么partition个数是与block数一致(大多数情况) RDD是有一系列的依赖关系,有利于Spark计算的容错 RDD中每...

2018/08/20 21:46
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部