文档章节

Spark集群安装部署

k
 kunping
发布于 2017/03/18 12:24
字数 293
阅读 96
收藏 1

1、安装前准备

    a. 确保hadoop已安装完毕

    b. 确保scala已安装完毕

        下载scala-2.11.8.tgz

cd /usr/app
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala

#添加环境变量
vi /etc/profile
  #添加内容
  SCALA_HOME=/usr/app/scala
  export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile

#验证,输入scala
[centos@s0 ~]$ scala

2、下载spark-2.1.0-bin-hadoop2.7.tgz

cd /usr/app
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
mv spark-2.1.0-bin-hadoop2.7.tgz spark

#添加环境变量
vi /etc/profile
  #添加内容
  SPARK_HOME=/usr/app/spark
  export PATH=$PATH:$SPARK_HOME/bin
source /etc/profile

3、配置/usr/app/spark/conf/spark-env.sh文件

JAVA_HOME=/usr/app/jdk
SPARK_MASTER_HOST=s0
HADOOP_CONF_DIR=/usr/app/hadoop/etc/hadoop
#默认1G
SPARK_EXECUTOR_MEMORY=512M
#默认1G
SPARK_DRIVER_MEMORY=512M
#默认8080
SPARK_MASTER_WEBUI_PORT=18080
#默认8081
SPARK_WORKER_WEBUI_PORT=18081

4、配置/usr/app/spark/conf/slaves文件

s1
s2
s3

5、将scala、spark通过scp命令拷贝到其他机器中,同时配置好环境变量

6、启动spark

#启动hadoop集群
/usr/app/hadoop/sbin/start-all.sh
#启动spark
/usr/app/spark/sbin/start-all.sh

7、验证,通过jps命令

master:s0

          

worker:s1~s3

         

备注:hadoop集群的SecondaryNameNode是配置到了s3

http://s0:18080
http://s0:4040

8、测试,/usr/app/spark/bin/spark-shell

9、关闭Spark

#关闭hadoop集群
/usr/app/hadoop/sbin/stop-all.sh
#关闭spark
/usr/app/spark/sbin/stop-all.sh

 

 

 

© 著作权归作者所有

上一篇: Kafka安装
下一篇: Linux常用指令
k
粉丝 3
博文 61
码字总数 29867
作品 0
深圳
私信 提问
Spark 独立部署模式

除了在 Mesos 或 YARN 集群上运行之外, Spark 还提供一个简单的独立部署的模块。你通过手动开始master和workers 来启动一个独立的集群。你也可以利用我们提供的脚本 .它也可以运行这些进程在...

vincent_hv
2013/10/14
6.1K
2
2018年互联网大数据之大数据潮流的主先锋Spark

首先,跟大家简单说一下什么是大数据,没有百度的复杂,就是我自己总结的,有什么不对的地方,请大家指教! 1、何为大数据? 大数据就是短时间内,快速产生大量的多种多样的有价值的数据。 ...

A尚学堂Len老师
2018/08/22
0
0
Spark(一)-- Standalone HA的部署

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45629643 首先交代一下集群的规模和配置 集群有六台机器,均是VM虚拟机,每台2...

jchubby
2015/05/11
0
0
重磅!Google宣布为Spark推出Kubernetes Operator

“Spark Operator”测试版允许在Kubernetes集群上执行原生Spark应用程序,不需要Hadoop或Mesos。 Apache Spark是一个非常流行的执行框架,通常用在数据工程和机器学习领域。支撑Databricks ...

OpenShift开源社区
02/01
0
0
Spark2.1集群安装(standalone模式)

机器部署   准备三台Linux服务器,安装好JDK1.7 下载Spark安装包   上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上  解压安装包到指定位置tar -zxvf spark-2.1.0-bin...

刘洋intsmaze
2017/03/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何设计抗住100亿次请求的抢红包系统?(附GitHub代码)

1. 前言 前几天,偶然看到了 《扛住100亿次请求——如何做一个“有把握”的春晚红包系统”》一文,看完以后,感慨良多,收益很多。 正所谓他山之石,可以攻玉,虽然此文发表于2015年,我看到...

Java程序员之家
34分钟前
2
0
动图+源码,演示Java中常用数据结构执行过程及原理

最近在整理数据结构方面的知识, 系统化看了下Java中常用数据结构, 突发奇想用动画来绘制数据流转过程. 主要基于jdk8, 可能会有些特性与jdk7之前不相同, 例如LinkedList LinkedHashMap中的双向...

Java技术剑
今天
2
0
怎样在ps中制作对话气泡?一招教你轻松解决

PS是在工作中经常使用的平面设计软件,利用ps可以实现很多操作。换天,换发色,添加亮灯等操作都是比较常见的,今天将为大家分享怎样在ps中制作对话气泡的方法,希望能给大家带来帮助。 绘制...

干货趣分享
今天
2
0
EDI 电子数据交换全解指南

EDI(Electronic Data Interchange,电子数据交换)技术使得企业与企业(B2B)实现通信自动化,帮助交易伙伴和组织更快更好地完成更多工作,并消除了人工操作带来的错误。从零售商到制造商、物...

EDI知行软件
今天
3
0
CentOS7的LVM动态扩容

# 问题 CentOS7上面的磁盘空间有点紧张,需要扩容。 解决 查询当前磁盘状态 [root@xxx ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTfd0 2:0 1 4K ...

亚林瓜子
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部