文档章节

6.Spark之集群搭建1

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 15:09
字数 724
阅读 37
收藏 0

1.下载软件

1.1下载Jdk

    地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

    版本:jdk-8u71-linux-x64.tar.gz或者jdk-8u71-linux-x64.rpm

    

1.2下载Scala

    地址:http://www.scala-lang.org/download/2.10.4.html

    版本:Scala 2.10.4

    

1.3下载Hadoop

    地址:http://hadoop.apache.org/releases.html

    版本:2.6.0

    

1.4下载Spark

    地址:http://spark.apache.org/downloads.html

    版本:基于Hadoop2.6的1.6.0的已编译版本(测试用),也可以选择未编译版本然后自行编译(性能更高,商业用)

    

1.5总结

    以上软件下载后的截图如下所示:

    

2.安装Jdk

    在所有服务器上执行以下操作,完成Jdk的安装。

  1. 卸载系统已经安装的其它版本的Jdk

    命令:rpm -qa | grep jdk,查询已经安装的Jdk。

    命令:rpm -e --nodeps 已安装的Jdk包名,卸载已经安装的Jdk。

  2. 上传已经下载好的jdk-8u71-linux-x64.gz,并解压

    命令:mkdir -p /usr/local/jdk,在/usr/local目录下创建jdk目录。

    上传jdk-8u71-linux-x64.gz至/usr/local/jdk目录下。

    命令:tar -zxvf jdk-8u71-linux-x64.gz,解压安装包得到jdk1.8.0_71。

  3. 配置环境变量JAVA_HOME、CLASSPATH、PATH

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71

            export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            export PATH=${PATH}:${JAVA_HOME}/bin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  4. 测试Jdk是否安装成功

    命令:java -version,查看已安装Jdk的版本。

3.安装Scala

    在所有服务器上执行以下操作,完成Scala的安装。

  1. 上传已下载好的scala-2.10.4.tgz,并解压

    命令:mkdir -p /usr/local/scala,在/usr/local目录下创建scala目录。

    上传scala-2.10.4.tgz至/usr/local/scala目录下。

    命令:tar -zxvf scala-2.10.4.tgz,解压安装包得到scala-2.10.4

  2. 配置环境变量SCALA_HOME、PATH

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export SCALA_HOME=/usr/local/scala/scala-2.10.4

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  3. 测试Scala是否安装成功

    命令:scala -version,查看已安装Scala的版本。


© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 3
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
私信 提问
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
09/02
0
0
6.Spark Streaming:输入DStream和Receiver详解

输入DStream和Receiver详解(一) 输入DStream代表了来自数据源的输入数据流。在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接...

weixin_32265569
2017/11/16
0
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 眼看着这颗陨石砸了下来

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子:分享Nachtblut的单曲《Antik》 《Antik》- Nachtblut 手机党少年们想听歌,请使劲儿戳(这里) @mr_chip :上海的初雪之后有点冷 ...

小小编辑
24分钟前
35
6
Confluence 6 修改导航显示选项

选择 子页面(Child pages)来在边栏中查看当前页面的子页面。 选择 页面树(Page tree)来查看整个空间的页面树,扩展当前的页面。 你也可以选择是否完全隐藏导航显示选项或者添加你希望可见...

honeymose
56分钟前
0
0
Ubuntu18.04 安装MySQL

1.安装MySQL sudo apt-get install mysql-server 2.配置MySQL sudo mysql_secure_installation 3.设置MySQL非root用户 设置原因:配置过程为系统root权限,在构建MySQL连接时出现错误:ERROR...

AI_SKI
今天
3
0
3.6 rc脚本(start方法) 3.7 rc脚本(stop和status方法) 3.8 rc脚本(以daemon方式启动)

3.6-3.7 rc脚本(start、stop和status方法) #!/usr/bin/env python# -*- coding: utf-8 -*-# [@Version](https://my.oschina.net/u/931210) : python 2.7# [@Time](https://my.oschina.......

隐匿的蚂蚁
今天
3
0
Cnn学习相关博客

CNN卷积神经网络原理讲解+图片识别应用(附源码) 笨方法学习CNN图像识别系列 深度学习图像识别项目(中):Keras和卷积神经网络(CNN) 卷积神经网络模型部署到移动设备 使用CNN神经网络进行...

-九天-
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部