文档章节

8.Spark之集群搭建3

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 17:09
字数 589
阅读 23
收藏 0

5.安装Spark

    在所有服务器上执行以下操作,完成Spark的安装。

  1. 上传已下载好的spark-1.6.0-bin-hadoop2.6.tgz,并解压

    命令:mkdir -p /usr/local/spark,在/usr/local目录下创建spark目录。

    上传spark-1.6.0-bin-hadoop2.6.tgz至/usr/local/spark目录下。

    命令:tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz,解压安装包得到spark-1.6.0-bin-hadoop2.6

  2. 配置环境变量SPARK_HOME、PATH等

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export SPARK_HOME=/usr/local/spark/spark-1.6.0-bin-hadoop2.6

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  3. ${SPARK_HOME}/conf目录下配置文件

    mv spark-env.sh.template spark-env.sh

    vi spark-env.sh //新增内容如下截图所示

    mv spark-defaults.conf..template spark-defaults.conf

    vi spark-defaults.conf //新增内容如下截图所示

    vi slaves //内容为作为work节点的所有服务器的主机名


  4. 以上内容在所有服务器中配置完毕后,Spark基本配置完毕。在${SPARK_HOME}/sbin目录下,执行以下命令,启动Spark:

    命令:./start-all.sh,启动Spark。

    命令:hdfs dfs -mkdir /historyserverforSpark,在hdfs上创建spark日志保存目录。

    命令:./start-history-server.sh,启动spark的日志服务。

    命令:jps,查看正在运行的java进程。

    在所有服务器中通过jps命令查看Spark启动后,各个进程是否正常启动。我的环境运行情况如下:

    master服务器作为Master节点需要启动Master进程,同时日志服务需要启动HistoryServer进程

    worker1和worker2作为Worker节点需要启动Worker进程


    访问http://master:8080/或者将master(主机名)换成ip也可以,查看spark集群

    访问http://master:18080/或者将master(主机名)换成ip也可以,查看spark运行作业的日志信息



© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 3
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
私信 提问
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
09/02
0
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0
玩转Redis集群(上)

这是redis集群介绍的上篇,主要是关于Redis集群的搭建。后续将为大家介绍Redis集群的常用命令、Java操作Redis集群、以及与Spring/Spring MVC的整合等知识。 Redis集群搭建 要想搭建一个最简单...

zfz_linux_boy
2017/03/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SRE的含义及与 DevOps 如何关联?

虽然站点可靠性工程师(site reliability engineer SRE)角色在近几年变得流行起来,但是很多人 —— 甚至是软件行业里的 —— 还不知道 SRE 是什么或者 SRE 都干些什么。为了搞清楚这些问题...

linuxCool
1分钟前
0
0
月入3万之一个程序员的转行坎坷历程

陈年往事 “我月入3万,怎么会少少了你一个鸡蛋啊?” 这是2017年9月左右的一个新闻,一位煎饼摊大妈因和顾客争执时脱口而出这样一句话而走红。当时还上了各大新闻的头条。 互联网兴起今天,...

苏南-首席填坑官
23分钟前
1
1
OSChina 周一乱弹 —— 眼看着这颗陨石砸了下来

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子:分享Nachtblut的单曲《Antik》 《Antik》- Nachtblut 手机党少年们想听歌,请使劲儿戳(这里) @mr_chip :上海的初雪之后有点冷 ...

小小编辑
48分钟前
172
7
Confluence 6 修改导航显示选项

选择 子页面(Child pages)来在边栏中查看当前页面的子页面。 选择 页面树(Page tree)来查看整个空间的页面树,扩展当前的页面。 你也可以选择是否完全隐藏导航显示选项或者添加你希望可见...

honeymose
今天
2
0
Ubuntu18.04 安装MySQL

1.安装MySQL sudo apt-get install mysql-server 2.配置MySQL sudo mysql_secure_installation 3.设置MySQL非root用户 设置原因:配置过程为系统root权限,在构建MySQL连接时出现错误:ERROR...

AI_SKI
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部