文档章节

在Ubuntu上安装Hadoop(集群模式)

贱圣
 贱圣
发布于 2013/06/12 22:50
字数 592
阅读 6.8K
收藏 147

在安装好单机模式的hadoop之后,我们就可以着手来在集群模式下安装hadoop了。在安装了单机版hadoop的机器上将hadoop转成集群模式是很容易的。首先来设置网络。

网络

首先,我们需要在同一个网络的几台机器(这里用的是192.168.0.0/24网段)。然后为了操作方便,我们需要给它们配上域名,直接在 /etc/hosts 文件里面加入以下内容。

192.168.0.1    master
192.168.0.2    slave

配置SSH

为了能让hadoop运行,需要让master机器能够登录到slave机器上,这就要配置SSH密钥。跟配置单机模式的时候相似,把 ~/.ssh/authorized_key 文件拷贝slave机器的 ~/.ssh/ 路径下。在完成后试试是否能够用运行hadoop的帐号登录slave机器,能的话这一步就算完成了。

安装hadoop

master机器上的配置项

HADOOP_HOME/conf/master 这个文件定义了在多机器模式下在那台机器上运行 namenode , secondary namenode和jobtracker。我们可以通过运行 HADOOP_HOME/bin/start-all.sh 来启动多机器模式的hadoop。在master机器上,我们需要在 HADOOP_HOME/conf/master添加以下内容。

master
HADOOP_HOME/conf/slave  这个文件定义在多机器模式的hadoop里面在那些机器上运行datanode和tasktracker。需要在这个文件里面添加一下配置。

master
slave

所有机器上都需要的配置项

在 HADOOP_HOME/conf/core-site.xml 文件里面添加一下配置

<property>
  <name>fs.default.name</name>
  <value>hdfs://master:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
在HADOOP_HOME/conf/mapred-site.xml 文件里面添加以下配置:

<property>
  <name>mapred.job.tracker</name>
  <value>master:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>
在 HADOOP_HOME/conf/hdfs-site.xml 文件添加以下配置:

<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>
接下来把HDFS文件系统来格式化一下

$ /usr/local/hadoop$ bin/hadoop namenode -format
然后运行 /usr/local/hasoop/bin/start-all.sh ,如果执行成功,多机器模式的hadoop就安装完成了。

© 著作权归作者所有

贱圣
粉丝 13
博文 6
码字总数 7163
作品 0
朝阳
程序员
私信 提问
加载中

评论(4)

TGVvbmFyZA
TGVvbmFyZA
有點沒想明白 最後的HDFS為什麼要格式化
贱圣
贱圣 博主

引用来自“夕水溪下”的评论

现在有开源工具可以完成这些

嗯,我是初学者,详细的了解一下还是有必要的
Aeolus
Aeolus
devstack
lateron
lateron
现在有开源工具可以完成这些
Ubuntu 12.04搭建hadoop单机版环境

前言: 本文章是转载的,自己又加上了一些自己的笔记整理的 详细地址请查看Ubuntu 12.04搭建hadoop单机版环境 Hadoop的三种运行模式 独立模式:无需任何守护进程,所有程序都在单个JVM上执行...

zhao_xiao_long
2013/07/26
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(1)

在VMWare 中准备第二、第三台运行Ubuntu系统的机器; 在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是: 第一点:...

Spark亚太研究院
2014/08/28
812
0
零基础学习hadoop到上手工作线路指导(初级篇)

零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。才刚接触大数据时,曾经想过培训,但是培训机构的选择就让我很纠结。因为师兄跟我说,很多培训机构的老师其实以前就是他们的学...

我思gu我在
2017/01/09
212
3
linux Hadoop 探索-hadoop单机模式

groupadd hadoopuseradd -mg hadoop hadoop -m指的是在/home/目录下新建一个与用户名相同的文件夹 -g指的是添加用户组 passwd hadoop 回车后将密码设置成123456 ps:密码限于开发调试,生产环...

charles_shang
2016/03/01
53
0
Hadoop完全分布式安装以及配置教程

Hadoop完全分布式安装 在此主要介绍hadoop完全分布式的安装配置。 因为我们硬件设施有限,所以我们采用虚拟机的方式模拟hadoop集群,我们准备建立四台虚拟机,一台机器master作为管理节点,其...

u012045426的博客
2017/12/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

充值订单

充值订单 充值订单 1、用户登录到前台,可对个人账户充值2、点击充值进入支付页面,选择其中一种方式进行支付 3、打开后台-订单-充值订单,可根据下单时间、订单编号、充值用户来进行搜索。...

Geek-Chic
22分钟前
32
0
2.1 思科操作系统入门

cisco ios系统入门 IOS的存储和使用 IOS存储在Flash中,Flash属于非易失性存储,断电时不会丢失。 一台设备可用于存储多个版本的IOS,可以根据需要更改或者覆盖。 设备开机时,将IOS从Flash...

theyhq
26分钟前
28
0
String.format()占位符替换

作用:使用指定的格式字符串和参数返回一个格式化字符串。 str=String.format("Hi,%s %ss", "你好","java"); 常用的类型关系:

谷亚彬
44分钟前
46
0
作为HR,校招人才测评用什么工具好?

校招是一个直接面对众多优秀求职者的机会,是企业储备人才的宝地。每年大量的企业投身于校招的队伍中。 以前都是知名大企业进校园 如今....好像不限制了。 一次校招,我们大约能收到200多个简...

蛤蟆丸子
46分钟前
28
0
Dynamic Wallpaper for Mac(精美的动态壁纸) v3.5

Dynamic Wallpaper for Mac是一款功能强大的动态壁纸应用。动态壁纸应用 Mac版为你提供200+精美视频素材,卡通动漫、自然人文、萌宠萌物、游戏世界、创意视频、古风古色等等。 Dynamic Wall...

云不若
57分钟前
25
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部