文档章节

6.Spark之集群搭建1

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 15:09
字数 724
阅读 35
收藏 0
点赞 1
评论 0

1.下载软件

1.1下载Jdk

    地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

    版本:jdk-8u71-linux-x64.tar.gz或者jdk-8u71-linux-x64.rpm

    

1.2下载Scala

    地址:http://www.scala-lang.org/download/2.10.4.html

    版本:Scala 2.10.4

    

1.3下载Hadoop

    地址:http://hadoop.apache.org/releases.html

    版本:2.6.0

    

1.4下载Spark

    地址:http://spark.apache.org/downloads.html

    版本:基于Hadoop2.6的1.6.0的已编译版本(测试用),也可以选择未编译版本然后自行编译(性能更高,商业用)

    

1.5总结

    以上软件下载后的截图如下所示:

    

2.安装Jdk

    在所有服务器上执行以下操作,完成Jdk的安装。

  1. 卸载系统已经安装的其它版本的Jdk

    命令:rpm -qa | grep jdk,查询已经安装的Jdk。

    命令:rpm -e --nodeps 已安装的Jdk包名,卸载已经安装的Jdk。

  2. 上传已经下载好的jdk-8u71-linux-x64.gz,并解压

    命令:mkdir -p /usr/local/jdk,在/usr/local目录下创建jdk目录。

    上传jdk-8u71-linux-x64.gz至/usr/local/jdk目录下。

    命令:tar -zxvf jdk-8u71-linux-x64.gz,解压安装包得到jdk1.8.0_71。

  3. 配置环境变量JAVA_HOME、CLASSPATH、PATH

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71

            export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            export PATH=${PATH}:${JAVA_HOME}/bin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  4. 测试Jdk是否安装成功

    命令:java -version,查看已安装Jdk的版本。

3.安装Scala

    在所有服务器上执行以下操作,完成Scala的安装。

  1. 上传已下载好的scala-2.10.4.tgz,并解压

    命令:mkdir -p /usr/local/scala,在/usr/local目录下创建scala目录。

    上传scala-2.10.4.tgz至/usr/local/scala目录下。

    命令:tar -zxvf scala-2.10.4.tgz,解压安装包得到scala-2.10.4

  2. 配置环境变量SCALA_HOME、PATH

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export SCALA_HOME=/usr/local/scala/scala-2.10.4

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  3. 测试Scala是否安装成功

    命令:scala -version,查看已安装Scala的版本。


© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 2
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
6.Spark Streaming:输入DStream和Receiver详解

输入DStream和Receiver详解(一) 输入DStream代表了来自数据源的输入数据流。在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接...

weixin_32265569 ⋅ 2017/11/16 ⋅ 0

(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter ⋅ 2017/12/15 ⋅ 0

ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月 ⋅ 2016/05/02 ⋅ 0

服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341 ⋅ 2017/05/31 ⋅ 0

(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter ⋅ 2017/12/15 ⋅ 0

HBase1.2.6集群部署教程

1.引言 在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群...

Liri ⋅ 2017/12/16 ⋅ 0

Hive从入门到实战视频教程【40讲全】

1、Hive是什么,Hive的体系结构,Hive和Hadoop的关系 2、Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别 3、JDK安装 4、Hadoop集群搭建-1 5、Hadoop集群搭建-2 6、Hadoop集群搭建-3 ...

tom先生 ⋅ 2014/11/26 ⋅ 0

Docker Swarm 下 AnyIM 集群的搭建

❤️ 环境准备 三台服务器,建立 Docker Swarm 集群,一个 Manager,两个 Worker。 docker 版本:17-09 nats 版本:1.0.4 搭建 MongoDB 集群 搭建 Nats 集群 ❤️ AnyIM 集群示意图 MongoDB ...

Anoyi ⋅ 2017/12/29 ⋅ 0

服务器(5)--搭建Solr集群+搭建Zookeeper集群(下篇)

背景:看完《服务器(5)--搭建Solr集群+搭建Zookeeper集群(上篇)》是不是很想知道,Solr集群的搭建过程,别急别急,下面就给大家详细的介绍一下Solr集群的搭建过程。 一、Solr集群的搭建 第...

u013043341 ⋅ 2017/06/04 ⋅ 0

玩转Redis集群(上)

这是redis集群介绍的上篇,主要是关于Redis集群的搭建。后续将为大家介绍Redis集群的常用命令、Java操作Redis集群、以及与Spring/Spring MVC的整合等知识。 Redis集群搭建 要想搭建一个最简单...

zfz_linux_boy ⋅ 2017/03/01 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

收集自网络的wordpress 分页导航的代码教程(全网最全版)

wordpress 分页导航是用来切换文章的一个功能,添加了 wordpress 分页导航后,用户即可自由到达指定的页面数浏览分类文章,而这样的一个很简单功能却有很多朋友在用插件:WP-PageNavi,插件的...

Rhymo-Wu ⋅ 32分钟前 ⋅ 0

微服务 WildFly Swarm 入门

Hello World 就像前面章节中的其他框架一样,我们希望添加一些基本的 Hello-world 功能,然后在其上逐步添加更多的功能。让我们从在我们的项目中创建一个 HolaResources 开始。您可以使用您的...

woshixin ⋅ 39分钟前 ⋅ 0

Maven的安装和Eclipse的配置

1. 下载Maven 下载地址 2. 解压压缩包,放到自己习惯的硬盘中 此处我将其放到了 D:\Tools 目录下。 3. 配置环境变量 右键此电脑 -> 属性 -> 高级系统设置 -> 环境变量。 在系统变量中新建,变...

影狼 ⋅ 46分钟前 ⋅ 0

python pip使用国内镜像的方法

国内源 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学:http://......

良言 ⋅ 47分钟前 ⋅ 0

对于url变化的spa应该如何使用微信jssdk

使用vue单页面碰上微信jssdk config验证失败的坑。第一次成功 之后切换页面全部失败,找到了解决方法,第一次验证成功后保存验证信息 切换页面时验证信息直接拿来用,加一个wx.error() 失败时...

孙冠峰 ⋅ 51分钟前 ⋅ 0

Spring Cloud Gateway 一般集成

SCF发布,带来很多新东西,不过少了点教程,打开方式又和以前的不一样,比如这个SCG,压根就没有入门指导,所以这里写一个,以备后用。 一、集成 pom.xml <dependency> <groupI...

kut ⋅ 55分钟前 ⋅ 0

建造模式

《JAVA与模式》之建造模式

Cobbage ⋅ 今天 ⋅ 0

WePY框架开发的小程序如何在微信web开发者工具中运行起来

一、首先需要安装node.js,安装步骤如下: 首先下载安装包 https://nodejs.org/en/download/ 点击下载相应的zip版本 然后将文件夹解压到任意目录 比如我这里解压到了:C:\Program Files\node...

Helios51 ⋅ 今天 ⋅ 0

使用EnumSet 代替位域(32)

1、位域(Bit field):使用or 运算将几个常量合并到一个集合中 位操作,可以有效地执行 AND 、OR 这样的位操作 但是 位域比int 常量枚举缺点更多 2、java.util 包里面的EnumSet 类是有效的替...

职业搬砖20年 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部