文档章节

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)

Spark亚太研究院
 Spark亚太研究院
发布于 2014/10/10 09:59
字数 317
阅读 180
收藏 6

第四步修改配置文件slaves,如下所示:

我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2,把slaves文件的内容修改为:

第五步修改配置文件core-site.xml,如下所示:

把core-site.xml文件的内容修改为:

上述是core-site.xml文件的最小化配置,core-site.xml各项配置可参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第六步修改配置文件hdfs-site.xml,如下所示:

把hdfs-site.xml文件的内容修改为:

上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置课参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第七步修改配置文件mapred-site.xml,如下所示:

拷贝一份mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml 

把mapred-site.xml文件的内容修改为:

上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

第七步修改配置文件yarn-site.xml,如下所示:

把yarn-site.xml的内容修改为:

上述内容是yarn-site.xml的最小化配置,yarn-site.xml文件配置的各项内容可以参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

© 著作权归作者所有

Spark亚太研究院
粉丝 76
博文 73
码字总数 35236
作品 0
朝阳
技术主管
私信 提问
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

从控制台可以看到我们的程序成功在集群上运行: Detail for stage 1: Detail for Stage 0: 查看一下Executors的信息: 上述信息表明程序成功在Spark集群上运行。 第四步:基于IDEA构建Spark...

Spark亚太研究院
2014/11/20
289
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)

第二步:构造分布式的Spark1.0.2集群 1,下载Scala 2.10.4,具体下载地址: http://www.scala-lang.org/download/2.10.4.html 在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行...

Spark亚太研究院
2014/11/17
255
0
OSC 第 65 期高手问答 — Spark 企业级实战

OSCHINA 本期高手问答(3月23日-3月29日)我们请来了 @王家林 (王家林)为大家解答关于 Spark 开发方面的问题。 王 家林,Spark 亚太研究院院长和首席专家,当今云计算领域最火爆的技术Docke...

叶秀兰
2015/03/23
6.4K
22
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
449
2
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地...

Spark亚太研究院
2014/08/29
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

Android WebView 调起H5支付,提示商家参数格式有误

题记 —— 执剑天涯,从你的点滴积累开始,所及之处,必精益求精,即是折腾每一天。 重要消息 精通点的可以查看这里 精述 Flutter 从入门实践到开发一个APP之UI基础篇 视频 flutter从入门 到...

赵子龙
8分钟前
5
0
Postman使用Get请求URL传参中文乱码的问题

在Postman中使用Get请求的URL传惨中文时候,会返回Could not get any reponse. 解决方法: 选中文字,右键。选择EncodeURIComponent进行编码。 编码后:...

matrixchan
11分钟前
46
0
android进程保活实践

下篇:https://www.jianshu.com/p/7cdae4f7763a 前言 进程保活的关键点有两个,一个是进程优先级的理解,优先级越高存活几率越大。二是弄清楚哪些场景会导致进程会kill,然后采取下面的策略对...

SuShine
20分钟前
67
0
maven 配置的小节, 实用篇

1, 加速度,配置镜像 镜像, 用于覆盖下面repository里面的资源,这样就不会去寻找下面的url地址了 而是从镜像下载,加速了下载速度,如用阿里云的镜像去覆盖中央仓库的包 <mirrors> <!-- m...

爱吃大肉包
21分钟前
67
0
Python传入参数的几种方法

Python唯一支持的参数传递方式是『共享传参』(call by sharing) 多数面向对象语言都采用这一模式,包括Ruby、Smalltalk和Java(Java的引用类型是这样,基本类型按值传递) 共享传参是指函数...

每天学Python
24分钟前
96
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部