文档章节

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)

Spark亚太研究院
 Spark亚太研究院
发布于 2014/10/08 13:49
字数 637
阅读 201
收藏 1

第一步:构造分布式Hadoop2.2.0集群

1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2),本教程中的VMware Workstation下载地址:

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526

2,在VMvare中装三台Ubuntu机器(我们使用的是ubuntu-12.10-desktop-i386),每台机器分配2G的内存,本教程中Ubuntu下载地址:

http://www.ubuntu.org.cn/download/desktop/alternative-downloads

;font-� � l : ��E 0D �黑","sans-serif"'>

 

1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2),本教程中的VMware Workstation下载地址:

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526

3,分别在三台Ubuntu机器中设置root用户机器密码,以后每次登录的时候都是用root用户登录,具体设置方式如下:

  •  sudo  -s进入 root用户权限模式

  •  vim /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false   

  • 启动root帐号:
    sudo passwd root

三台机器修改后,再次登录系统的时候用root用户登录:

4,配置三台机器的/etc/hosts和/etc/hostname并安装ssh设置三台机器之间的无密码登录,具体步骤可参考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO 和Spark实战高手之路第一章的第二节http://t.cn/RP9klmr 我们在“/etc/hostname”文件中把三台机器的hostname分别设置了SparkMaster、SparkWorker1、SparkWorker2并在每台机器的“/etc/hosts”配置如下IP和机器名称的对应关系:

配置好三天机器相互通信的ssh后会发现三台机器可以相互使用ssh无密码登录:

5,在三台Ubuntu机器上安装Java,在这里我们使用的是jdk1.7.0_67(下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html )

 具体的安装和配置方法请参考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO

安装完成的可以验证一下:

三台Ubuntu机器分别出现上述信息就表明Java安装正确。

6,在SparkMaster这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

我们下载的是“hadoop-2.2.0.tar.gz  ”,如下图所示:

 

© 著作权归作者所有

共有 人打赏支持
Spark亚太研究院
粉丝 70
博文 73
码字总数 35236
作品 0
朝阳
技术主管
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

从控制台可以看到我们的程序成功在集群上运行: Detail for stage 1: Detail for Stage 0: 查看一下Executors的信息: 上述信息表明程序成功在Spark集群上运行。 第四步:基于IDEA构建Spark...

Spark亚太研究院
2014/11/20
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)

第二步:构造分布式的Spark1.0.2集群 1,下载Scala 2.10.4,具体下载地址: http://www.scala-lang.org/download/2.10.4.html 在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行...

Spark亚太研究院
2014/11/17
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(2)

安装Spark Master、Slave1、Slave2这三台机器上均需要安装Spark。 首先在Master上安装Spark,具体步骤如下: 第一步:把Master上的Spark解压: 我们直接解压到当前目录下: 此时,我们创建S...

Spark亚太研究院
2014/09/09
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
0
1
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地...

Spark亚太研究院
2014/08/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

LSM-Tree 大数据索引技术

一、LSM-Tree概述 核心思想就是放弃部分读能力,换取写入能力的最大化。LSM-Tree ,这个概念就是结构化合并树(Log-Structured Merge Tree)的意思,它的核心思路其实非常简单,就是假定内存...

PeakFang-BOK
34分钟前
1
0
vue.js响应式原理解析与实现

从很久之前就已经接触过了angularjs了,当时就已经了解到,angularjs是通过脏检查来实现数据监测以及页面更新渲染。之后,再接触了vue.js,当时也一度很好奇vue.js是如何监测数据更新并且重新...

peakedness丶
40分钟前
1
0
Weblogic补丁升级操作步骤

linux平台: weblogic1036 1:停止weblogic服务 2:打FMJJ补丁 a:获取weblogic_home目录并执行命令:export weblogic_home="/weblogic/wls1036_x64",(此目录一般为目录“user_projects”上...

fang_faye
53分钟前
1
0
04-《Apache Tomcat 9 User Guide》之部署项目

1.Introduction Deployment is the term used for the process of installing a web application (either a 3rd party WAR or your own custom web application) into the Tomcat server. 部......

飞鱼说编程
53分钟前
1
0
一位十年的老码农他眼中的区块链

大家可能已经听说过比特币、莱特币、以太币等等,以及它们作为一种新货币在市场上的潜力。 有趣的是,很多投资比特币的人也提到了区块链之类的东西。 显然,这项技术是比特币等其他东西的"基...

小刀爱编程
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部