文档章节

8.Spark之集群搭建3

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 17:09
字数 589
阅读 23
收藏 0

5.安装Spark

    在所有服务器上执行以下操作,完成Spark的安装。

  1. 上传已下载好的spark-1.6.0-bin-hadoop2.6.tgz,并解压

    命令:mkdir -p /usr/local/spark,在/usr/local目录下创建spark目录。

    上传spark-1.6.0-bin-hadoop2.6.tgz至/usr/local/spark目录下。

    命令:tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz,解压安装包得到spark-1.6.0-bin-hadoop2.6

  2. 配置环境变量SPARK_HOME、PATH等

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export SPARK_HOME=/usr/local/spark/spark-1.6.0-bin-hadoop2.6

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  3. ${SPARK_HOME}/conf目录下配置文件

    mv spark-env.sh.template spark-env.sh

    vi spark-env.sh //新增内容如下截图所示

    mv spark-defaults.conf..template spark-defaults.conf

    vi spark-defaults.conf //新增内容如下截图所示

    vi slaves //内容为作为work节点的所有服务器的主机名


  4. 以上内容在所有服务器中配置完毕后,Spark基本配置完毕。在${SPARK_HOME}/sbin目录下,执行以下命令,启动Spark:

    命令:./start-all.sh,启动Spark。

    命令:hdfs dfs -mkdir /historyserverforSpark,在hdfs上创建spark日志保存目录。

    命令:./start-history-server.sh,启动spark的日志服务。

    命令:jps,查看正在运行的java进程。

    在所有服务器中通过jps命令查看Spark启动后,各个进程是否正常启动。我的环境运行情况如下:

    master服务器作为Master节点需要启动Master进程,同时日志服务需要启动HistoryServer进程

    worker1和worker2作为Worker节点需要启动Worker进程


    访问http://master:8080/或者将master(主机名)换成ip也可以,查看spark集群

    访问http://master:18080/或者将master(主机名)换成ip也可以,查看spark运行作业的日志信息



© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 2
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
09/02
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
玩转Redis集群(上)

这是redis集群介绍的上篇,主要是关于Redis集群的搭建。后续将为大家介绍Redis集群的常用命令、Java操作Redis集群、以及与Spring/Spring MVC的整合等知识。 Redis集群搭建 要想搭建一个最简单...

zfz_linux_boy
2017/03/01
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

中秋快乐!!!

HiBlock
今天
1
0
Node安装教程

1、安装最新版的node 2、设置相关目录(以D盘为例) 分别建立目录:D:\node,D:\node\node-globa,D:\node\node-cache 命令行输入: // 设置npm国内镜像 npm config set registry https://re...

Mohan710
今天
3
0
中国发布域名系统基础软件 “红枫”

9月12日消息,域名工程中心(英文缩写 ZDNS)发布了宣称自主开发的域名系统基础软件 “红枫(Maple DNS)”。 9月12日消息,域名工程中心(英文缩写 ZDNS)发布了宣称自主开发的域名系统基础软...

问题终结者
今天
3
0
Shell编程(分发系统介绍、expect远程登录、expect远程执行命令、expect传递参数)

分发系统介绍expect 分发系统expect即分发脚本,是一种脚本语言;通过他可以实现传输,输入命令(上线代码) 应用场景:业务越来越大,网站app,后端,编程语言是php,所以就需要配置lamp或者...

蛋黄_Yolks
今天
4
0
Java Http请求工具类

public static String httpPost(String source, String params) {URL url = null;HttpURLConnection conn = null;OutputStream os = null;String ret = null;try {......

yuewawa
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部