文档章节

Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--4

品不懂
 品不懂
发布于 2016/12/08 14:15
字数 395
阅读 32
收藏 0
点赞 0
评论 0

接着上篇:https://my.oschina.net/u/988386/blog/802045

接着上篇:https://my.oschina.net/u/988386/blog/802052

接着上篇:https://my.oschina.net/u/988386/blog/802063

下面安装spark

     安装spark要先安装scala。

  • 安装spark(2台机器配置基本相同)
#!/bin/bash
#环境变量文件
PATH_FILE="/etc/profile"
#安装包路径
SCALA_TAR="/home/hdp/Downloads/scala-2.11.8.tgz"
SCALA_INSTALL_HOME="/usr/local"
#安装包路径
SPARK_TAR="/home/hdp/Downloads/spark-2.0.2-bin-hadoop2.7.tgz"
SPARK_INSTALL_HOME="/usr/local"

#安装scala

if [ -d $SCALA_INSTALL_HOME/scala ] 
then
    sudo rm -rf $SCALA_INSTALL_HOME/scala
fi

#解压scala
sudo tar -zxvf $SCALA_TAR -C $SCALA_INSTALL_HOME

#修改文件名称
sudo mv $SCALA_INSTALL_HOME/scala-2.11.8 $SCALA_INSTALL_HOME/scala

#将scala的所有者修改为hadoop
sudo chown -R hadoop $SCALA_INSTALL_HOME/scala


#设置环境变量
if [ -z $SCALA_HOME ]  
then 
	sudo echo "export SCALA_HOME=\"$SCALA_INSTALL_HOME/scala\"" >> $PATH_FILE
	sudo echo "export PATH=\"\${SCALA_HOME}/bin:\$PATH\"" >> $PATH_FILE
	#刷新环境变量
	source /etc/profile
fi

#安装spark

if [ -d $SPARK_INSTALL_HOME/spark ] 
then
    sudo rm -rf $SPARK_INSTALL_HOME/spark
fi

#解压spark
sudo tar -zxvf $SPARK_TAR -C $SPARK_INSTALL_HOME

#修改文件名称
sudo mv $SPARK_INSTALL_HOME/spark-2.0.2-bin-hadoop2.7 $SPARK_INSTALL_HOME/spark

#将spark的所有者修改为hadoop
sudo chown -R hadoop $SPARK_INSTALL_HOME/spark

#设置环境变量
if [ -z $SPARK_HOME ]  
then 
	sudo echo "export SPARK_HOME=\"$SPARK_INSTALL_HOME/spark\"" >> $PATH_FILE
	sudo echo "export PATH=\"\${SPARK_HOME}/bin:\$PATH\"" >> $PATH_FILE
	#刷新环境变量
	source /etc/profile
fi

 

  • 配置spark-env.sh,在文件后面加入下列内容:

            注意路径

  • export JAVA_HOME=/usr/lib/jvm/java
    export SCALA_HOME=/usr/local/scala
    export HADOOP_HOME=/usr/local/hadoop
    export YARN_HOME=/usr/local/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_CONF_DIR=$YARN_HOME/etc/hadoop
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin
    export SPARK_MASTER_IP=d155
    export SPARK_LOCAL_DIRS=/usr/local/spark
    export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
    

    配置slaves文件。加入一行

  • d156

    启动停止  ./sbin/start-all.sh     ./sbin/stop-all.sh

        检查状态

       浏览器输入  http://d155:8080/

 

 

 

 

 

 

 

 

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
品不懂
粉丝 2
博文 5
码字总数 2660
作品 0
闸北
程序员
centos7 安装kubernetes1.4(kubeadm版)

使用kubeadm快速搭建k8s集群(单master,HA 的功能仍然在开发中) NOTE: 2016/10/09 :添加release版yum源,上传rpm包,避免翻墙,补全之前未添加的镜像,完善文档 2016/11/11 :删除hub.docke...

战狐 ⋅ 2016/09/30 ⋅ 0

单台服务器部署 Zookeeper 伪集群服务及 kafka 消息中间件服务

在开发环境中,为减少服务器成本和提高开发效率,通常在一台测试服务器部署各种服务,使用不同的本地 IP 和不同端口号将涉及到集群的服务往往跑在一台机器上模拟集群,在这里我们称做伪集群。...

hww_面条酱 ⋅ 01/10 ⋅ 0

ctdb+samba+cephfs高可用

环境:两台ubuntu16.04主机或虚拟机,samba:4.3.11,ctdb:4.3.11,ceph客户端:10.2.9 ,ceph集群:10.2.3 配置前准备: 可用的ceph集群,配置了cephfs文件系统。 ceph集群mon节点ip:10.33...

zrz11 ⋅ 01/25 ⋅ 0

(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter ⋅ 2017/12/15 ⋅ 0

利用docker快速搭建 laravel 环境

本文使用的是laravel 环境 也可以是一个 php环境 一样的。 最终搭建是一个 :nginx 1.3 + php 7.1 + composer + php-cli (artisan) 的环境 这里是本环境的Dokcerfile源码地址:https://git...

傻梦兽 ⋅ 2017/12/15 ⋅ 1

基于CentOS的Hadoop和Spark分布式集群搭建过程

1. 软件版本,IP地址,修改主机名和hosts文件 (1)软件版本:CentOS 7.0;JDK 8u141;Hadoop 2.7.3;Scala 2.11.8;Spark 2.2.0。 (2)IP地址:192.168.106.128(主节点);192.168.106.1...

shengshengwang ⋅ 2017/07/23 ⋅ 0

在 ubuntu 搭建 docker registry 私有仓库

为什么要搭建 docker 私有仓库 原因有几个: 项目需要,不希望将项目放到 docker hub 上。 环境需求,考虑网络、效率的问题,希望在私有服务器上建立自用的仓库,提高便利性和访问速度。 可以...

hello_cjq ⋅ 02/10 ⋅ 0

深度学习-在ubuntu16.04安装CUDA9.1-总结(问题完全解决方案)

深度学习大火,为了赶上AI的班车,许多研究生本科生们都在搞深度学习。然而深度学习环境搭建必不可少,这篇文章是我多次为实验室搭建环境所积累起来的经验总结,希望所有看到这篇文章的同志们...

oldpan ⋅ 05/14 ⋅ 0

Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri ⋅ 2017/12/16 ⋅ 0

(11)Hadoop 2.6.1 集群部署---手工切换HA

1. 引言 在生产环境中的高可用是非常重要的,一旦宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下的部署(手动切换),在本篇博客中博主使用五台干净的机器从零开始搭建集群环境,...

LoveCarpenter ⋅ 2017/12/15 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JavaScript零基础入门——(八)JavaScript的数组

JavaScript零基础入门——(八)JavaScript的数组 欢迎大家回到我们的JavaScript零基础入门,上一节课我们讲了有关JavaScript正则表达式的相关知识点,便于大家更好的对字符串进行处理。这一...

JandenMa ⋅ 今天 ⋅ 0

sbt网络问题解决方案

转自:http://dblab.xmu.edu.cn/blog/maven-network-problem/ cd ~/.sbt/launchers/0.13.9unzip -q ./sbt-launch.jar 修改 vi sbt/sbt.boot.properties 增加一个oschina库地址: [reposit......

狐狸老侠 ⋅ 今天 ⋅ 0

大数据,必须掌握的10项顶级安全技术

我们看到越来越多的数据泄漏事故、勒索软件和其他类型的网络攻击,这使得安全成为一个热门话题。 去年,企业IT面临的威胁仍然处于非常高的水平,每天都会看到媒体报道大量数据泄漏事故和攻击...

p柯西 ⋅ 今天 ⋅ 0

Linux下安装配置Hadoop2.7.6

前提 安装jdk 下载 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 解压 配置 vim /etc/profile # 配置java环境变量 export JAVA_HOME=/opt/jdk1......

晨猫 ⋅ 今天 ⋅ 0

crontab工具介绍

crontab crontab 是一个用于设置周期性被执行的任务工具。 周期性执行的任务列表称为Cron Table crontab(选项)(参数) -e:编辑该用户的计时器设置; -l:列出该用户的计时器设置; -r:删除该...

Linux学习笔记 ⋅ 今天 ⋅ 0

深入Java多线程——Java内存模型深入(2)

5. final域的内存语义 5.1 final域的重排序规则 1.对于final域,编译器和处理器要遵守两个重排序规则: (1)在构造函数内对一个final域的写入,与随后把这个被构造对象的引用赋值给一个引用...

江左煤郎 ⋅ 今天 ⋅ 0

面试-正向代理和反向代理

面试-正向代理和反向代理 Nginx 是一个高性能的反向代理服务器,但同时也支持正向代理方式的配置。

秋日芒草 ⋅ 今天 ⋅ 0

Spring 依赖注入(DI)

1、Setter方法注入: 通过设置方法注入依赖。这种方法既简单又常用。 类中定义set()方法: public class HelloWorldOutput{ HelloWorld helloWorld; public void setHelloWorld...

霍淇滨 ⋅ 昨天 ⋅ 0

马氏距离与欧氏距离

马氏距离 马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量之间的差异程度。 如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,如果协方差矩阵为对角阵,则其也...

漫步当下 ⋅ 昨天 ⋅ 0

聊聊spring cloud的RequestRateLimiterGatewayFilter

序 本文主要研究一下spring cloud的RequestRateLimiterGatewayFilter GatewayAutoConfiguration @Configuration@ConditionalOnProperty(name = "spring.cloud.gateway.enabled", matchIfMi......

go4it ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部