文档章节

spark-1.2.0 集群环境搭建

stark_summer
 stark_summer
发布于 2015/01/06 17:20
字数 846
阅读 92
收藏 2

1、下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768 

2、解压和安装: 解压 :[spark@S1PA11 scala]$ tar -xvf scala-2.11.4.tgz  ,安装:[spark@S1PA11 scala]$ mv scala-2.11.4 ~/opt/

3、编辑 ~/.bash_profile文件 增加SCALA_HOME环境变量配置,

export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=/home/spark/opt/scala-2.11.4
export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin

立即生效 bash_profile  ,[spark@S1PA11 scala]$ source ~/.bash_profile 

4、验证scala:[spark@S1PA11 scala]$ scala -version
Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

[spark@S1PA11 scala]$ scala
Welcome to Scala version 2.11.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.6.0_37).
Type in expressions to have them evaluated.
Type :help for more information.

scala> var str = "SB is"+"SB"
str: String = SB isSB

scala> 


5、copy到slave机器 ,[spark@S1PA11 scala]$ scp  ~/.bash_profile  spark@10.126.45.56:~/.bash_profile 

6、下载spark,wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz

7、在master主机配置spark :

将下载的spark-1.2.0-bin-hadoop2.4.tgz 解压到 ~/opt/目前了即 ~/opt/spark-1.2.0-bin-hadoop2.4,配置环境变量SPARK_HOME

# set  java env
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=/home/spark/opt/scala-2.11.4
export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0
export SPARK_HOME=/home/spark/opt/spark-1.2.0-bin-hadoop2.4
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin

配置完成后使用source命令使配置生效

进入 spark conf目录:

[spark@S1PA11 opt]$ cd spark-1.2.0-bin-hadoop2.4/
[spark@S1PA11 spark-1.2.0-bin-hadoop2.4]$ ls
bin  conf  data  ec2  examples  lib  LICENSE  logs  NOTICE  python  README.md  RELEASE  sbin  work
[spark@S1PA11 spark-1.2.0-bin-hadoop2.4]$ cd conf/
[spark@S1PA11 conf]$ ls
fairscheduler.xml.template  metrics.properties.template  slaves.template               spark-env.sh
log4j.properties.template   slaves                       spark-defaults.conf.template  spark-env.sh.template

first :修改slaves文件,增加两个slave节点S1PA11、S1PA222

[spark@S1PA11 conf]$ vi slaves
S1PA11
S1PA222

second:配置spark-env.sh

首先把spark-env.sh.template copy spark-env.sh

vi spark-env.sh文件 在最下面增加:

export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export SCALA_HOME=/home/spark/opt/scala-2.11.4
export SPARK_MASTER_IP=10.58.44.47
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/home/spark/opt/hadoop-2.6.0/etc/hadoop

HADOOP_CONF_DIR是Hadoop配置文件目录,SPARK_MASTER_IP主机IP地址,SPARK_WORKER_MEMORY是worker使用的最大内存

完成配置后,将spark目录copy slave机器 scp -r ~/opt/spark-1.2.0-bin-hadoop2.4  spark@10.126.45.56:~/opt/

8、启动spark分布式集群并查看信息

[spark@S1PA11 sbin]$ ./start-all.sh 

查看:

[spark@S1PA11 sbin]$ jps
31233 ResourceManager
27201 Jps
30498 NameNode
30733 SecondaryNameNode
5648 Worker
5399 Master

15888 JobHistoryServer
如果HDFS没有启动 ,请启动起来,参考hadoop集群搭建点击打开链接

查看slave节点:

[spark@S1PA222 scala]$ jps
20352 Bootstrap
30737 NodeManager
7219 Jps
30482 DataNode
29500 Bootstrap
757 Worker

9、页面查看集群状况:

进去spark集群的web管理页面,访问


因为我们 看到两个worker节点,因为master和slave都是worker节点

我们进入spark的bin目录,启动spark-shell控制台


现在我们已经顺利进入spark-shell的世界了 ,O(∩_∩)O

访问http://master:4040/,我们可以看到spark WEBUI页面



到目前为止,我们的spark集群环境搭建成功了

10、运行spark-shell 测试

之前我们在/tmp目录上传了一个README.txt文件,我们现在就用spark读取hdfs中README.txt文件


取得hdfs文件:

count下READM.txt文件中文字总数,


我们过滤README.txt

包括The单词有多个


 


我们算出来 一共有4个The单词


我们通过wc也算出来有4个The单词

我们再实现下Hadoop wordcount功能:

首先对读取的readmeFile执行以下命令:


其次使用collect命令提交并执行job:




我们看下WEBUI界面执行效果:







OK,完成所有任务,(*^__^*) spark-1.2.0 集群环境搭建

© 著作权归作者所有

共有 人打赏支持
stark_summer
粉丝 59
博文 75
码字总数 51050
作品 0
朝阳
CEO
加载中

评论(2)

stark_summer
stark_summer

引用来自“iman123”的评论

楼主辛苦了,是不是只要在master主机(S1PA11)上安装配置Spark+Hadoop;在slave主机(S1PA11)安装Spark,不需要Hadoop。最后在master主机上启动spark sbin中的start-all就可以启动master、slave的hadoop和spark了?
slave也需要安装Hadoop,Hadoop要单独启动的
i
iman123
楼主辛苦了,是不是只要在master主机(S1PA11)上安装配置Spark+Hadoop;在slave主机(S1PA11)安装Spark,不需要Hadoop。最后在master主机上启动spark sbin中的start-all就可以启动master、slave的hadoop和spark了?
搭建hadoop/spark集群环境

hadoop2.5.2的安装可以参照 http://my.oschina.net/sucre/blog/700159 jdk下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html hadoop下载地址 ......

sucre
2014/12/25
0
0
spark1.2.0版本搭建伪分布式环境

、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALAHOME环境变量到bashprofile 第...

stark_summer
2015/02/09
0
2
如何使用Spark SQL 的JDBC server

简介 Spark SQL provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The......

cloud-coder
2015/06/17
0
0
集群四部曲(三):完美的Spark集群搭建

前面已经成功的搭建了Zookeeper和Hadoop集群,接下来让我们更进一步,实现Spark集群的搭建吧。相比较而言,Spark集群的搭建要简单的许多了,关键是Hadoop已经搭建成功了。此次是基于上次的H...

海岸线的曙光
03/16
0
0
Spark1.2.1集群环境搭建——Standalone模式

机器准备 笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。 192.168.248.150 spark-master192.168.248.153 ubuntu-worker192.168.248.155 spark-worker1 根据...

Jackson_Mu
2015/03/16
0
13

没有更多内容

加载失败,请刷新页面

加载更多

下一页

深夜胡思乱想

魔兽世界 最近魔兽世界出了新版本, 周末两天升到了满级,比之前的版本体验好很多,做任务不用抢怪了,不用组队打怪也是共享拾取的。技能简化了很多,哪个亮按哪个。 运维 服务器 产品 之间的...

Firxiao
16分钟前
0
0
MySQL 8 在 Windows 下安装及使用

MySQL 8 带来了全新的体验,比如支持 NoSQL、JSON 等,拥有比 MySQL 5.7 两倍以上的性能提升。本文讲解如何在 Windows 下安装 MySQL 8,以及基本的 MySQL 用法。 下载 下载地址 https://dev....

waylau
50分钟前
0
0
微信第三方平台 access_token is invalid or not latest

微信第三方开发平台code换session_key说的特别容易,但是我一使用就带来无穷无尽的烦恼,搞了一整天也无济于事. 现在记录一下解决问题的过程,方便后来人参考. 我遇到的这个问题搜索了整个网络也...

自由的开源
今天
0
0
openJDK之sun.misc.Unsafe类CAS底层实现

注:这篇文章参考了https://www.cnblogs.com/snowater/p/8303698.html 1.sun.misc.Unsafe中CAS方法 在sun.misc.Unsafe中CAS方法如下: compareAndSwapObject(java.lang.Object arg0, long a......

汉斯-冯-拉特
今天
2
0
设计模式之五 责任链模式(Chain of Responsibility)

一. 场景 相信我们都有过这样的经历; 我们去职能部门办理一个事情,先去了A部门,到了地方被告知这件事情由B部门处理; 当我们到了B部门的时候,又被告知这件事情已经移交给了C部门处理; ...

JackieRiver
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部