文档章节

Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--4

品不懂
 品不懂
发布于 2016/12/08 14:15
字数 395
阅读 34
收藏 0

接着上篇:https://my.oschina.net/u/988386/blog/802045

接着上篇:https://my.oschina.net/u/988386/blog/802052

接着上篇:https://my.oschina.net/u/988386/blog/802063

下面安装spark

     安装spark要先安装scala。

  • 安装spark(2台机器配置基本相同)
#!/bin/bash
#环境变量文件
PATH_FILE="/etc/profile"
#安装包路径
SCALA_TAR="/home/hdp/Downloads/scala-2.11.8.tgz"
SCALA_INSTALL_HOME="/usr/local"
#安装包路径
SPARK_TAR="/home/hdp/Downloads/spark-2.0.2-bin-hadoop2.7.tgz"
SPARK_INSTALL_HOME="/usr/local"

#安装scala

if [ -d $SCALA_INSTALL_HOME/scala ] 
then
    sudo rm -rf $SCALA_INSTALL_HOME/scala
fi

#解压scala
sudo tar -zxvf $SCALA_TAR -C $SCALA_INSTALL_HOME

#修改文件名称
sudo mv $SCALA_INSTALL_HOME/scala-2.11.8 $SCALA_INSTALL_HOME/scala

#将scala的所有者修改为hadoop
sudo chown -R hadoop $SCALA_INSTALL_HOME/scala


#设置环境变量
if [ -z $SCALA_HOME ]  
then 
	sudo echo "export SCALA_HOME=\"$SCALA_INSTALL_HOME/scala\"" >> $PATH_FILE
	sudo echo "export PATH=\"\${SCALA_HOME}/bin:\$PATH\"" >> $PATH_FILE
	#刷新环境变量
	source /etc/profile
fi

#安装spark

if [ -d $SPARK_INSTALL_HOME/spark ] 
then
    sudo rm -rf $SPARK_INSTALL_HOME/spark
fi

#解压spark
sudo tar -zxvf $SPARK_TAR -C $SPARK_INSTALL_HOME

#修改文件名称
sudo mv $SPARK_INSTALL_HOME/spark-2.0.2-bin-hadoop2.7 $SPARK_INSTALL_HOME/spark

#将spark的所有者修改为hadoop
sudo chown -R hadoop $SPARK_INSTALL_HOME/spark

#设置环境变量
if [ -z $SPARK_HOME ]  
then 
	sudo echo "export SPARK_HOME=\"$SPARK_INSTALL_HOME/spark\"" >> $PATH_FILE
	sudo echo "export PATH=\"\${SPARK_HOME}/bin:\$PATH\"" >> $PATH_FILE
	#刷新环境变量
	source /etc/profile
fi

 

  • 配置spark-env.sh,在文件后面加入下列内容:

            注意路径

  • export JAVA_HOME=/usr/lib/jvm/java
    export SCALA_HOME=/usr/local/scala
    export HADOOP_HOME=/usr/local/hadoop
    export YARN_HOME=/usr/local/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_CONF_DIR=$YARN_HOME/etc/hadoop
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin
    export SPARK_MASTER_IP=d155
    export SPARK_LOCAL_DIRS=/usr/local/spark
    export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
    

    配置slaves文件。加入一行

  • d156

    启动停止  ./sbin/start-all.sh     ./sbin/stop-all.sh

        检查状态

       浏览器输入  http://d155:8080/

 

 

 

 

 

 

 

 

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
品不懂
粉丝 2
博文 5
码字总数 2660
作品 0
闸北
程序员
图像识别——ubuntu16.04 movidius VPU NCSDK深度学习环境搭建

这篇文章本人不打算长篇累牍去写,结合以前写的文章,从软件角度去写一些点滴,伴随人工智能AI的火爆,现在图像识别算法也异常火爆,上一篇文章提到Intel movidius Myriad 2 VPU(MA2450)是一...

桐烨科技
08/06
0
0
centos7 安装kubernetes1.4(kubeadm版)

使用kubeadm快速搭建k8s集群(单master,HA 的功能仍然在开发中) NOTE: 2016/10/09 :添加release版yum源,上传rpm包,避免翻墙,补全之前未添加的镜像,完善文档 2016/11/11 :删除hub.docke...

战狐
2016/09/30
0
0
单台服务器部署 Zookeeper 伪集群服务及 kafka 消息中间件服务

在开发环境中,为减少服务器成本和提高开发效率,通常在一台测试服务器部署各种服务,使用不同的本地 IP 和不同端口号将涉及到集群的服务往往跑在一台机器上模拟集群,在这里我们称做伪集群。...

hww_面条酱
01/10
0
0
ctdb+samba+cephfs高可用

环境:两台ubuntu16.04主机或虚拟机,samba:4.3.11,ctdb:4.3.11,ceph客户端:10.2.9 ,ceph集群:10.2.3 配置前准备: 可用的ceph集群,配置了cephfs文件系统。 ceph集群mon节点ip:10.33...

zrz11
01/25
4
0
(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter
2017/12/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSX | SafariBookmarksSyncAgent意外退出解决方法

1. 启动系统, 按住⌘-R不松手2. 在实用工具(Utilities)下打开终端,输入csrutil disable, 然后回车; 你就看到提示系统完整性保护(SIP: System Integrity Protection)已禁用3. 输入reboot回车...

云迹
今天
4
0
面向对象类之间的关系

面向对象类之间的关系:is-a、has-a、use-a is-a关系也叫继承或泛化,比如大雁和鸟类之间的关系就是继承。 has-a关系称为关联关系,例如企鹅在气候寒冷的地方生活,“企鹅”和“气候”就是关...

gackey
今天
4
0
读书(附电子书)|小狗钱钱之白色的拉布拉多

关注公众号,在公众号中回复“小狗钱钱”可免费获得电子书。 一、背景 之前写了一篇文章 《小狗钱钱》 理财小白应该读的一本书,那时候我才看那本书,现在看了一大半了,发现这本书确实不错,...

tiankonguse
今天
4
0
Permissions 0777 for ‘***’ are too open

异常显示: @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ ......

李玉长
今天
5
0
区块链10年了,还未落地,它失败了吗?

导读 几乎每个人,甚至是对通证持怀疑态度的人,都对区块链的技术有积极的看法,因为它有可能改变世界。然而,区块链技术问世已经10年了,我们仍然没有真正的用上区块链技术。 几乎每个人,甚...

问题终结者
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部