文档章节

Spark1.2.1集群环境搭建——Standalone模式

Jackson_Mu
 Jackson_Mu
发布于 2015/03/16 17:37
字数 346
阅读 9099
收藏 126

机器准备

笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。

192.168.248.150 spark-master
192.168.248.153 ubuntu-worker
192.168.248.155 spark-worker1

根据机器信息加入到三台机器的/etc/hosts中。

安装Hadoop2.4.1

详见Spark集群搭建——Hadoop2.4.1集群搭建,因为我们使用的是standalone方式,只启动hdfs即可。

安装scala

参照Scala极速入门安装部分,在一台机器上解压、配置环境变量后,将文件夹和环境变量文件通过scp拷贝到另外两台即可。

scp -r scala spark@ubuntu-worker:~/spark

下载spark

点此下载

解压文件 tar -xzvf spark-1.2.1-bin-hadoop2.4.tgz

配置

1.  向环境变量添加spark home。

export SPARK_HOME=/home/mupeng/Hadoop/spark-1.2.1-bin-hadoop2.4
export PATH=$SPARK_HOME/bin:$PATH

2.  配置./conf/slaves

首先将slaves.template拷贝一份

cp slaves.template slaves

修改slaves文件

# A Spark Worker will be started on each of the machines listed below.
spark-master
ubuntu-worker
spark-worker1

3.  配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

cp spark-env.sh.template spark-env.sh

在spark-env.sh最后加入以下几行

export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35
export SCALA_HOME=/home/mupeng/scala/scala-2.11.6
export SPARK_MASTER_IP=192.168.248.150
export SPARK_WORKER_MEMORY=25g
export MASTER=spark://192.168.248.150:7077

最后将spark-1.2.1-bin-hadoop2.4文件夹拷贝到另外两个结点即可。

检查安装是否成功

访问web管理界面:http://192.168.248.150:8080

好了,配置结束,可以在我们的spark集群上运行任务了!


© 著作权归作者所有

Jackson_Mu
粉丝 72
博文 17
码字总数 15900
作品 0
海淀
程序员
私信 提问
加载中

评论(13)

f
fzljm
。。。。。。。。。。。。
















。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
。。。。

。。。

h

。。。


g
。。。
个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个个好好好好好好好好好好好好好好好好。。。。。
Jackson_Mu
Jackson_Mu 博主

引用来自“林风”的评论

好高深
不高也不深啊
lionels
lionels
好高深
Jackson_Mu
Jackson_Mu 博主

引用来自“喵小强”的评论

3 点赞!!
多谢!!
Jackson_Mu
Jackson_Mu 博主

引用来自“iman123”的评论

独立模式(standalone)不依赖于yarn、mesos,是不是还可以不依赖于hdfs,然后再windows上启动
我之前想学习一下,就单机运行standalone模式,但有些脚本没有windows版的,不能再Windows下运行,在Linux、Mac下都可以。
自己用本地文件做测试,不依赖hdfs是没问题的;在Windows上搭建环境需要借助Cygwin,仅限于自己学习。真正生产还是要在Linux环境下搭建,并依赖hdfs的,不然你要分析的大数据往哪放。
Jackson_Mu
Jackson_Mu 博主

引用来自“通吃岛-低手哥”的评论

怎么编译spark的?我编译了半年都没成功
版本还是0.x的时候,陈超老师就说过,要编译通过,需要自己架梯子,因为被墙了~我直接用的pre-built版本,也就是下载的时候Chose a package type: 选择Pre-built for Hadoop 2.4 and later
Jackson_Mu
Jackson_Mu 博主

引用来自“nuc093”的评论

装两虚拟机 加个本机试一试
没问题的 加油
Jackson_Mu
Jackson_Mu 博主

引用来自“Windows10”的评论

支持一个
多谢多谢
喵小强
喵小强
3 点赞!!
iman123
iman123
独立模式(standalone)不依赖于yarn、mesos,是不是还可以不依赖于hdfs,然后再windows上启动
我之前想学习一下,就单机运行standalone模式,但有些脚本没有windows版的,不能再Windows下运行,在Linux、Mac下都可以。
OSChina 技术周刊第二十六期 —— 未来 Docker 的安全

每周技术抢先看,总有你想要的! 移动开发 【博客】IOS 开发— App 在 IOS 8 的 simulator 运行时,定位卡死 bug 解决 【博客】JFinal + Jquery Mobile 日志记录webapp效果图 前端开发 【软件...

OSC编辑部
2015/03/22
1K
4
Spark集群搭建——Hadoop2.4.1集群搭建

安装Java 参见Hadoop 1.2.1 伪分布式模式安装中Java安装部分 配置SSH免密码验证 我们还是以spark-master, ubuntu-worker, spark-worker1三台机器为例。 参见博客Spark集群搭建——SSH免密码验...

Jackson_Mu
2015/03/16
2.7K
4
Spark的Standalone模式安装部署

Spark运行模式 Spark 有很多种模式,最简单就是单机本地模式,还有单机伪分布式模式,复杂的则运行在集群中,目前能很好的运行在 Yarn和 Mesos 中,当然 Spark 还有自带的 Standalone 模式,...

Zero零_度
2016/06/04
60
0
Spark+Docker的集群模式

Spark支持local、Standalone和Cluster三种并行运行模式【参考:Spark的三种运行模式快速入门】。 local,单机运行模式。 Standalone,Spark自己构建的独立集群。 Cluster,运行在Mesos/YARN/...

openthings
2016/11/08
285
0
部署Spark2.2集群(on Yarn模式)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86795338 机器规划 本次实战用到了三台CentOS7的机器,身份信息如下所示: 要注意的地方: ...

博陵精骑
02/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

采坑指南——k8s域名解析coredns问题排查过程

正文 前几天,在ucloud上搭建的k8s集群(搭建教程后续会发出)。今天发现域名解析不了。 组件版本:k8s 1.15.0,coredns:1.3.1 过程是这样的: 首先用以下yaml文件创建了一个nginx服务 apiV...

码农实战
31分钟前
3
0
【2019年8月版本】OCP 071认证考试最新版本的考试原题-第6题

choose three Which three statements are true about indexes and their administration in an Orade database? A) An INVISIBLE index is not maintained when Data Manipulation Language......

oschina_5359
33分钟前
4
0
阿里巴巴开源 Dragonwell JDK 最新版本 8.1.1-GA 发布

导读:新版本主要有三大变化:同步了 OpenJDK 上游社区 jdk8u222-ga 的最新更新;带来了正式的 feature:G1ElasticHeap;发布了用户期待的 Windows 实验版本 Experimental Windows version。...

阿里巴巴云原生
39分钟前
4
0
教你玩转Linux—磁盘管理

Linux磁盘管理好坏直接关系到整个系统的性能问题,Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能:检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少...

xiangyunyan
41分钟前
6
0
js 让textarea的高度自适应父元素的高度

textarea按照普通元素设置height是没有作用的,可以这么来设置, 下面给上一段项目代码 JS代码: $.fn.extend({ txtaAutoHeight: function () { return this.each(function () {...

文文1
42分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部