文档章节

8.Spark之集群搭建3

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 17:09
字数 589
阅读 23
收藏 0
点赞 1
评论 0

5.安装Spark

    在所有服务器上执行以下操作,完成Spark的安装。

  1. 上传已下载好的spark-1.6.0-bin-hadoop2.6.tgz,并解压

    命令:mkdir -p /usr/local/spark,在/usr/local目录下创建spark目录。

    上传spark-1.6.0-bin-hadoop2.6.tgz至/usr/local/spark目录下。

    命令:tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz,解压安装包得到spark-1.6.0-bin-hadoop2.6

  2. 配置环境变量SPARK_HOME、PATH等

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export SPARK_HOME=/usr/local/spark/spark-1.6.0-bin-hadoop2.6

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  3. ${SPARK_HOME}/conf目录下配置文件

    mv spark-env.sh.template spark-env.sh

    vi spark-env.sh //新增内容如下截图所示

    mv spark-defaults.conf..template spark-defaults.conf

    vi spark-defaults.conf //新增内容如下截图所示

    vi slaves //内容为作为work节点的所有服务器的主机名


  4. 以上内容在所有服务器中配置完毕后,Spark基本配置完毕。在${SPARK_HOME}/sbin目录下,执行以下命令,启动Spark:

    命令:./start-all.sh,启动Spark。

    命令:hdfs dfs -mkdir /historyserverforSpark,在hdfs上创建spark日志保存目录。

    命令:./start-history-server.sh,启动spark的日志服务。

    命令:jps,查看正在运行的java进程。

    在所有服务器中通过jps命令查看Spark启动后,各个进程是否正常启动。我的环境运行情况如下:

    master服务器作为Master节点需要启动Master进程,同时日志服务需要启动HistoryServer进程

    worker1和worker2作为Worker节点需要启动Worker进程


    访问http://master:8080/或者将master(主机名)换成ip也可以,查看spark集群

    访问http://master:18080/或者将master(主机名)换成ip也可以,查看spark运行作业的日志信息



© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 2
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月 ⋅ 2016/05/02 ⋅ 0

(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter ⋅ 2017/12/15 ⋅ 0

玩转Redis集群(上)

这是redis集群介绍的上篇,主要是关于Redis集群的搭建。后续将为大家介绍Redis集群的常用命令、Java操作Redis集群、以及与Spring/Spring MVC的整合等知识。 Redis集群搭建 要想搭建一个最简单...

zfz_linux_boy ⋅ 2017/03/01 ⋅ 0

服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341 ⋅ 2017/05/31 ⋅ 0

Redis Cluster集群部署搭建

在Oracle的路上走了许多年,换换感觉,尝试一下新的知识,也是一个不错的感觉。Redis,一个超轻量化的内存数据库,只做一小块数据库功能实现,却非常优秀的一个产品。今天,就分享一下安装R...

hsbxxl ⋅ 2017/09/03 ⋅ 0

(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter ⋅ 2017/12/15 ⋅ 0

Docker Swarm 下 AnyIM 集群的搭建

❤️ 环境准备 三台服务器,建立 Docker Swarm 集群,一个 Manager,两个 Worker。 docker 版本:17-09 nats 版本:1.0.4 搭建 MongoDB 集群 搭建 Nats 集群 ❤️ AnyIM 集群示意图 MongoDB ...

Anoyi ⋅ 2017/12/29 ⋅ 0

HBase1.2.6集群部署教程

1.引言 在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群...

Liri ⋅ 2017/12/16 ⋅ 0

Hive从入门到实战视频教程【40讲全】

1、Hive是什么,Hive的体系结构,Hive和Hadoop的关系 2、Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别 3、JDK安装 4、Hadoop集群搭建-1 5、Hadoop集群搭建-2 6、Hadoop集群搭建-3 ...

tom先生 ⋅ 2014/11/26 ⋅ 0

kafka_2.11-0.11.0.1集群搭建

本文搭建一个三节点的Kafka集群。该集群有三个Zookeeper、三个Kafka Broker。 一、准备工作 解压kafka安装包,获得如下目录: Kafka目录结构: 展示如下内容: 二、搭建Zookeeper集群 将目录...

周立_itmuch ⋅ 2017/11/15 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Kubeflow实战系列:利用TFJob导出分布式TensorFlow模型

介绍 本系列将介绍如何在阿里云容器服务上运行Kubeflow, 本文介绍如何使用TfJob导出分布式模型训练模型。 第一篇:阿里云上使用JupyterHub 第二篇:阿里云上小试TFJob 第三篇:利用TFJob运行...

全部原谅 ⋅ 17分钟前 ⋅ 0

007. 深入JVM学习—老年代

老年代空间的主要目的是用于存储由Eden发送来的对象,一般在经历好几次“Minor GC”还会保存下来的对象,才会被复制到老年代,这样就可以存放更多的对象,同时在老年代中执行GC的次数也相对较...

影狼 ⋅ 18分钟前 ⋅ 0

常见的一些C#开源框架或者开源项目

原:https://blog.csdn.net/qq_27825451/article/details/70666044 Json.NET http://json.codeplex.com/ Json.Net 是一个读写Json效率比较高的.Net框架.Json.Net 使得在.Net环境下使用Json更......

whoisliang ⋅ 19分钟前 ⋅ 0

设计模式基本原理

刚开始接触编程这行的时候看过设计模式,当时感觉学这些模式没有太大的用处,当时也看不太懂。但是随着慢慢接触这一行,经过一段时间的编程以后,再回过头来看设计模式,发现设计模式的确是太...

王子城 ⋅ 23分钟前 ⋅ 0

阿里云全面支持IPv6!一文揽尽4位大咖精彩演讲

摘要: 自从去年11月以来,阿里巴巴高度重视数据中心的网络改造、云产品改造、应用及网络改造等多个维度,经过半年以来的建设,阿里云已经完成了域名解析等关键产品的分析,现在阿里云已经完...

传授知识的天使 ⋅ 33分钟前 ⋅ 0

windows Android sdk 配置

1、下载Android SDK,点击安装,直接默认路径即可! 下载地址:http://developer.android.com/sdk/index.html 2、默认路径安装后,安装完成,开始配置环境变量。 3、打开计算机属性——高级系...

阿豪boy ⋅ 36分钟前 ⋅ 0

bash shell script 简明教程

User <--> bash <--> kernel shell is not kernel or part of kernel various shells: tcsh, csh, bash, ksh find the using shell: echo $SHELL find all the shells: cat /etc/shells what......

mskk ⋅ 38分钟前 ⋅ 0

Service Mesh简史

William Morgan Service Mesh是一个相当新的概念,讲它的“历史”似乎有些勉强。就目前而言,Service Mesh已经在部分企业生产环境中运行了超过18个月,它的源头可以追溯到2010年前后互联网公...

好雨云帮 ⋅ 38分钟前 ⋅ 0

10个免费的服务器监控工具

监控你的WEB服务器或者WEB主机运行是否正常与健康是非常重要的。你要确保用户始终可以打开你的网站并且网速不慢。服务器监控工具允许你收集和分析有关你的Web服务器的数据。 有许多非常好的服...

李朝强 ⋅ 51分钟前 ⋅ 0

压缩工具之zip-tar

zip 支持目录压缩。使用yum安装zip包,使用yum安装unzip包 zip 1.txt.zip 1.txt #将1.txt文件压缩,新生成的压缩文件为1.txt.zip,原文件保留 zip -r 123.zip 123/ #-r对目录操作。将123/目录...

ZHENG-JY ⋅ 51分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部