文档章节

6.Spark之集群搭建1

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 15:09
字数 724
阅读 37
收藏 0

1.下载软件

1.1下载Jdk

    地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

    版本:jdk-8u71-linux-x64.tar.gz或者jdk-8u71-linux-x64.rpm

    

1.2下载Scala

    地址:http://www.scala-lang.org/download/2.10.4.html

    版本:Scala 2.10.4

    

1.3下载Hadoop

    地址:http://hadoop.apache.org/releases.html

    版本:2.6.0

    

1.4下载Spark

    地址:http://spark.apache.org/downloads.html

    版本:基于Hadoop2.6的1.6.0的已编译版本(测试用),也可以选择未编译版本然后自行编译(性能更高,商业用)

    

1.5总结

    以上软件下载后的截图如下所示:

    

2.安装Jdk

    在所有服务器上执行以下操作,完成Jdk的安装。

  1. 卸载系统已经安装的其它版本的Jdk

    命令:rpm -qa | grep jdk,查询已经安装的Jdk。

    命令:rpm -e --nodeps 已安装的Jdk包名,卸载已经安装的Jdk。

  2. 上传已经下载好的jdk-8u71-linux-x64.gz,并解压

    命令:mkdir -p /usr/local/jdk,在/usr/local目录下创建jdk目录。

    上传jdk-8u71-linux-x64.gz至/usr/local/jdk目录下。

    命令:tar -zxvf jdk-8u71-linux-x64.gz,解压安装包得到jdk1.8.0_71。

  3. 配置环境变量JAVA_HOME、CLASSPATH、PATH

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71

            export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            export PATH=${PATH}:${JAVA_HOME}/bin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  4. 测试Jdk是否安装成功

    命令:java -version,查看已安装Jdk的版本。

3.安装Scala

    在所有服务器上执行以下操作,完成Scala的安装。

  1. 上传已下载好的scala-2.10.4.tgz,并解压

    命令:mkdir -p /usr/local/scala,在/usr/local目录下创建scala目录。

    上传scala-2.10.4.tgz至/usr/local/scala目录下。

    命令:tar -zxvf scala-2.10.4.tgz,解压安装包得到scala-2.10.4

  2. 配置环境变量SCALA_HOME、PATH

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export SCALA_HOME=/usr/local/scala/scala-2.10.4

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  3. 测试Scala是否安装成功

    命令:scala -version,查看已安装Scala的版本。


© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 2
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
09/02
0
0
6.Spark Streaming:输入DStream和Receiver详解

输入DStream和Receiver详解(一) 输入DStream代表了来自数据源的输入数据流。在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接...

weixin_32265569
2017/11/16
0
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《看图轻松理解数据结构与算法系列》导引贴

最近学习数据结构,遇到一个很喜欢的博主,他的文章图文并茂,理解起来很容易。特此开贴记录,方便反复阅读。 博主主页 https://juejin.im/user/57c3970f79bc440063e58518/posts?sort=popul...

科陆李明
26分钟前
0
0
20.27 分发系统介绍~ 20.30 expect脚本传递参数

分发系统介绍分发系统-expect讲解(也就是一个分发的脚本)场景:业务越来越大,网站app,后端,编程语言是php,所以就需要配置lamp或者lnmp,最好还需要吧代码上传到服务器上;但是因...

洗香香
40分钟前
2
0
设计一个百万级的消息推送系统

前言 首先迟到的祝大家中秋快乐。 最近一周多没有更新了。其实我一直想憋一个大招,分享一些大家感兴趣的干货。 鉴于最近我个人的工作内容,于是利用这三天小长假憋了一个出来(其实是玩了两...

crossoverJie
46分钟前
2
0
软件架构:5种你应该知道的模式

Singleton(单例模式)、仓储模式(repository)、工厂模式(factory)、建造者模式(builder)、装饰模式(decorator)……大概每个上课听讲的程序员都不会陌生——软件的设计模式为我们提供...

好雨云帮
58分钟前
3
0
OSChina 周二乱弹 —— 这只是一笔金钱交易

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @小小编辑:推荐歌曲《暮春秋色》- 窦唯 / 译乐队 《暮春秋色》- 窦唯 / 译乐队 手机党少年们想听歌,请使劲儿戳(这里) @我没有抓狂:跨服聊...

小小编辑
今天
948
17

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部