文档章节

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)

Spark亚太研究院
 Spark亚太研究院
发布于 2014/10/08 13:49
字数 637
阅读 480
收藏 2

精选30+云产品,助力企业轻松上云!>>>

第一步:构造分布式Hadoop2.2.0集群

1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2),本教程中的VMware Workstation下载地址:

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526

2,在VMvare中装三台Ubuntu机器(我们使用的是ubuntu-12.10-desktop-i386),每台机器分配2G的内存,本教程中Ubuntu下载地址:

http://www.ubuntu.org.cn/download/desktop/alternative-downloads

;font-� � l : ��E 0D �黑","sans-serif"'>

 

1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2),本教程中的VMware Workstation下载地址:

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526

3,分别在三台Ubuntu机器中设置root用户机器密码,以后每次登录的时候都是用root用户登录,具体设置方式如下:

  •  sudo  -s进入 root用户权限模式

  •  vim /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false   

  • 启动root帐号:
    sudo passwd root

三台机器修改后,再次登录系统的时候用root用户登录:

4,配置三台机器的/etc/hosts和/etc/hostname并安装ssh设置三台机器之间的无密码登录,具体步骤可参考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO 和Spark实战高手之路第一章的第二节http://t.cn/RP9klmr 我们在“/etc/hostname”文件中把三台机器的hostname分别设置了SparkMaster、SparkWorker1、SparkWorker2并在每台机器的“/etc/hosts”配置如下IP和机器名称的对应关系:

配置好三天机器相互通信的ssh后会发现三台机器可以相互使用ssh无密码登录:

5,在三台Ubuntu机器上安装Java,在这里我们使用的是jdk1.7.0_67(下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html )

 具体的安装和配置方法请参考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO

安装完成的可以验证一下:

三台Ubuntu机器分别出现上述信息就表明Java安装正确。

6,在SparkMaster这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

我们下载的是“hadoop-2.2.0.tar.gz  ”,如下图所示:

 

Spark亚太研究院
粉丝 76
博文 73
码字总数 35236
作品 0
朝阳
技术主管
私信 提问
加载中
请先登录后再评论。
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

从控制台可以看到我们的程序成功在集群上运行: Detail for stage 1: Detail for Stage 0: 查看一下Executors的信息: 上述信息表明程序成功在Spark集群上运行。 第四步:基于IDEA构建Spark...

Spark亚太研究院
2014/11/20
297
0
Spark书籍连载-Spark高手之路:构建Spark集群1章1步

伴随着大数据相关技术和产业的逐步成熟,继Hadoop之后,Spark技术以其无可比拟的优势,发展迅速,将成为替代Hadoop的下一代云计算、大数据核心技术。《云计算分布式大数据Spark实战高手之路》...

Spark亚太研究院
2014/07/27
1.5K
0
大数据Spark企业级实战

大数据Spark企业级实战 2015-02-12 14:42:46   来自: 我爱我家 大数据Spark企业级实战的评论 5   《大数据Spark企业级实战》从零起步,完全从企业处理大数据业务场景的角度出发,基于实战...

圣洁之子
2015/04/01
2.7K
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)

第二步:构造分布式的Spark1.0.2集群 1,下载Scala 2.10.4,具体下载地址: http://www.scala-lang.org/download/2.10.4.html 在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行...

Spark亚太研究院
2014/11/17
261
0
【Spark免费讲座】国内第一个Spark课程,邀您抢先探营

云计算、大数据浪潮来袭, 继Hadoop之后,谁将是下一代最热门的技术? 如何把云计算大数据处理速度提高100倍? 如何在最短的时间内掌握Spark技术核心? Spark人才极度匮乏,如何成为年薪百万...

Spark亚太研究院
2014/06/16
214
0

没有更多内容

加载失败,请刷新页面

加载更多

BIOS开启虚拟化技术支持_MQ

安装虚拟机前开启虚拟化技术支持 1.首先,你需要确认的使你的计算机型号和CPU、BIOS的型号,因为过老的计算机是不支持虚拟化技术的。 2.那么怎么知道呢,方法很简单。开机时按F2、F12、DEL、...

osc_52r4y6wv
21分钟前
14
0
推进BI国产化替代,永洪科技新产品性能提升200%

各行各业已经进入到数字化转型的时间,数字化成为未来企业必须的标签,“国产化替代”成为当今企业的首要选择。 7月9日,以《绽放科技创新力量,推进BI国产化替代》为主题的2020永洪科技新产...

osc_4x0ulctb
23分钟前
16
0
手把手教你Python GUI开发系列之--框架

框架 框架(Frame)相对于其他组件而言,它只是个容器,因为它没有方法,但它可以捕获键盘和鼠标的事件来进行回调。 框架一般用作包含组控件的主体,且可以定制外观。 创建不同样式的框架 再次...

osc_8eb8cps3
24分钟前
13
0
Just test it!!软件测试测起来!!

(图片: josh@unsplash,字数:700,时间:1分钟) (一) 一切的软件质量保障活动,归根结底,就两种类型。 一种是基于代码执行的,一种是不基于代码执行的。 测试之于肉眼自查、静态检查、代...

osc_8cqhsn24
25分钟前
12
0
A Bug's Life POJ - 2492

A Bug's Life Background Professor Hopper is researching the sexual behavior of a rare species of bugs. He assumes that they feature two different genders and that they only inte......

osc_7nzqlmki
27分钟前
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部