Spark集群安装部署

原创
2017/03/18 12:24
阅读数 445

1、安装前准备

    a. 确保hadoop已安装完毕

    b. 确保scala已安装完毕

        下载scala-2.11.8.tgz

cd /usr/app
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala

#添加环境变量
vi /etc/profile
  #添加内容
  SCALA_HOME=/usr/app/scala
  export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile

#验证,输入scala
[centos@s0 ~]$ scala

2、下载spark-2.1.0-bin-hadoop2.7.tgz

cd /usr/app
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
mv spark-2.1.0-bin-hadoop2.7.tgz spark

#添加环境变量
vi /etc/profile
  #添加内容
  SPARK_HOME=/usr/app/spark
  export PATH=$PATH:$SPARK_HOME/bin
source /etc/profile

3、配置/usr/app/spark/conf/spark-env.sh文件

JAVA_HOME=/usr/app/jdk
SPARK_MASTER_HOST=s0
HADOOP_CONF_DIR=/usr/app/hadoop/etc/hadoop
#默认1G
SPARK_EXECUTOR_MEMORY=512M
#默认1G
SPARK_DRIVER_MEMORY=512M
#默认8080
SPARK_MASTER_WEBUI_PORT=18080
#默认8081
SPARK_WORKER_WEBUI_PORT=18081

4、配置/usr/app/spark/conf/slaves文件

s1
s2
s3

5、将scala、spark通过scp命令拷贝到其他机器中,同时配置好环境变量

6、启动spark

#启动hadoop集群
/usr/app/hadoop/sbin/start-all.sh
#启动spark
/usr/app/spark/sbin/start-all.sh

7、验证,通过jps命令

master:s0

          

worker:s1~s3

         

备注:hadoop集群的SecondaryNameNode是配置到了s3

http://s0:18080
http://s0:4040

8、测试,/usr/app/spark/bin/spark-shell

9、关闭Spark

#关闭hadoop集群
/usr/app/hadoop/sbin/stop-all.sh
#关闭spark
/usr/app/spark/sbin/stop-all.sh

 

 

 

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部