加载中
Spark书籍连载-Spark高手之路:构建Spark集群1章1步

对于90%以上想学习Spark的人而言,如何构建Spark集群是其最大的难点之一,为了解决大家构建Spark集群的一切困难,家林把Spark集群的构建分为了四个步骤,从零起步,不需要任何前置知识,涵盖...

【Spark免费讲座】国内第一个Spark课程,邀您抢先探营

继Hadoop之后,Spark将成为云计算及大数据的下一代核心技术。Spark亚太研究院推出了国内第一个Spark课程。从零基础入门到达商业级实战,助力企业轻松驾驭Spark。为了更好地帮助大家了解Spark...

2014/06/16 12:21
205
革命Hadoop,Spark搅热云计算大数据市场

作为下一代云计算及大数据的核心技术,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上。

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节②

三,深入RDD RDD本身是一个抽象类,具有很多具体的实现子类: RDD都会基于Partition进行计算: 默认的Partitioner如下所示: 其中HashPartitioner的文档说明如下: 另外一种常用的Partition...

2014/12/29 22:11
209
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节①

一、以RDD为基石的Spark编程模型 在Spark中一切都是基于RDD的: 什么是RDD呢?官方给出的解释是: 也就是说每个RDD都至少有以下三个函数实现: Spark自带了非常多的RDD: RDD主要分为两种: 其...

2014/12/29 22:04
111
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节②

三, Spark的RDD 在Spark中一切都是以RDD为基础和核心的: 每个RDD的API如下所示: Spark官方文档中给出了的众多的RDD: RDD中的操作分为transformations和actions两种: 下面举一个例子来说...

2014/12/29 21:51
98
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节①

一、到底什么是Spark? Spark是一个通用的大数据计算平台,基于“One Stack to rule them all”的理念成功成为了一体化多元化的大数据处理平台,轻松应对大数据处理中的实时流计算、SQL交互式...

2014/12/29 21:45
127
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

2014/12/16 22:23
387
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节 ①

一、MapReduce已死,Spark称霸 由于Hadoop的MapReduce高延迟的死穴,导致Hadoop无力处理很多对时间有要求的场景,人们对其批评越来越多,Hadoop无力改变现在而导致正在死亡。正如任何领域一样...

2014/12/12 22:42
289
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节(2)

3,动手实战Scala中的泛型 泛型泛型类和泛型方法,也就是我们实例化类或者调用方法的时候可以指定其类型,由于Scala的泛型和Java的泛型是一致的,这里不再赘述。 4,动手实战Scala中的隐式转...

2014/12/11 22:15
197
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节(1)

函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。 1,动手实战Scala高阶函数 声明一个List集合实例: List集合所在的包已经被预定义自动导入,所以此处不需...

2014/12/01 22:22
132
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节(3)

5,动手实战Scala中的apply方法和单例对象 新建一个类: 额外提一点,放在object对象中的方法都是静态方法,如下所示: 接下来看一下apply方法的使用: 上面代码总当我们使用“val a = Apply...

2014/11/28 20:57
149
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节(2)

3,动手实战Scala中的抽象类 抽象类的定义需要使用abstract关键字: 上面的代码定义并实现了抽象方法,需要注意的是我们把直接运行的代码放在了App这个trait的子类中,关于App内部帮助我们实...

2014/11/27 22:00
154
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节(1)

1, 动手实战Scala中类的使用 为方便后续代表的编写,我们创建一个新的代码工作区: 创建一个Person类: 其中的“_”是PlaceHolder,下面我们看一下如果使用该类: 下面看一下private[this]...

2014/11/26 21:58
174
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节(3)

3,Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式: 接下来看一下while循环表达式: 下面看一下for条件表达式: 在for中也可以使用until: 如果想在条件表达式中筛选出1到10中所...

2014/11/25 20:27
96
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节(2)

2,Scala函数特性编程实战 当函数不带参数的使用,我们调用的时候可以省略括号: 接下来定义一个匿名函数、调用并运行: 在Scala总函数式一等公民 ,所以我们可以把函数付给一个常: 另外一个...

2014/11/24 22:14
164
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节(1)

1,在命令行和Scala IDE for Eclipse中动手体验Scala Scala一门基于JVM的面向对象和函数式编程相结合的静态语言,安装和运行Scala首先需要Java虚拟环境,直接到官方网站下载和安装Java即可:...

2014/11/22 22:00
291
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

从控制台可以看到我们的程序成功在集群上运行: Detail for stage 1: Detail for Stage 0: 查看一下Executors的信息: 上述信息表明程序成功在Spark集群上运行。 第四步:基于IDEA构建Spark...

2014/11/20 11:06
267
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)

第三步:测试Spark集群 把Spark安装包下的”README.txt”上传到 通过hdfs的web控制台可以发现成功上传了文件: 使用“MASTER:spark://SparkMaster:7077 ./spark-shell”命令启动Spark shell...

2014/11/19 13:16
124
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(11)

此时我们进入了Spark的shell世界,根据输出的提示信息,我们可以通过“http://SparkMaster:4040” 从Web的角度看一下SparkUI的情况,如下图所示: 当然,你也可以查看一些其它的信息,例如E...

2014/11/18 22:57
152

没有更多内容

加载失败,请刷新页面

返回顶部
顶部