hadoop-1.2.1集群安装

原创
2015/03/12 11:25
阅读数 77

1.安装hadoop集群之前首先需要安装jdk,并且配置好master和slave之间的免密码访问,参考之前的文章。

2.下载hadoop的安装包,解压出来,将hadoop的安装目录配进环境变量,在后面添加如下内容。

vi ~/.bashrc
#添加如下内容
export HADOOP_HOME=/apps/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
#刷新~/.bashrc
source ~/.bashrc

3.在hadoop的主目录新建文件夹temp

mkdir tmp

4.进入hadoop的conf文件夹,修改hadoop-env.sh,添加JAVA_HOME

vi hadoop-env.sh
#添加如下内容
export JAVA_HOME=/apps/jdk

5.修改core-site.xml,添加如下内容

vi core-site.xml
#添加如下内容
<property>
	<name>hadoop.tmp.dir</name>
	<value>/apps/hadoop/tmp</value>
	<description>A base for other temporary directories.</description>
</property>
<property>
	<name>fs.default.name</name>
	<value>hdfs://master:9000</value>
</property>

hadoop.tmp.dir :Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。

fs.default.name是NameNode的URI。hdfs://主机名:端口/

6.修改hdfs-site.xml,vi hdfs-site.xml,添加如下内容

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>

dfs.replication是数据副本数量,默认为3,salve少于3台就会报错。

7.修改mapred-site.xml,vi mapred-site.xml配置JobTracker的地址和端口,添加如下内容

<property>
	<name>mapred.job.tracker</name>
	<value>http://master:9001</value>
</property>

8.修改机器的masters文件,vi masters,将localhost改为master的地址或者hostName

master

9.修改masters机器上的slaves文件,vi slaves,将localhost改为slaves的地址或者hostName

slave1
slave2

10.格式化HDFS文件系统,只需一次,下次启动不再需要格式化,只需运行第11步,start-all.sh

hadoop namenode -format

11.启动hadoop,在启动前关闭集群中所有机器的防火墙,不然会出现datanode开启后又自动关闭。

start-all.sh

可以通过以下启动日志看出,首先启动namenode 接着启动datanode1,datanode2,…,然后启动secondarynamenode。再启动jobtracker,然后启动tasktracker1,tasktracker2,…。启动 hadoop成功后,在 Master 中的 tmp 文件夹中生成了 dfs 文件夹,在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。

12.用命令jps验证启动是否成功,可以在master上看到JobTracker,NameNode和SecondaryNameNode进程。在slaves上可以看到DataNode和TaskTracker进程

13.用命令查看Hadoop集群的状态。

hadoop dfsadmin -report

14.用网页监控集群状态,访问"http://master_ip:50030",查看mapredurce集群状态;访问"http://master_ip:50070",查看hdfs集群状态。

15.遇到的问题

15.1 启动时提示Warning: $HADOOP_HOME is deprecated

编辑.bashrc文件,vi ~/.bashrc,添加如下内容

export HADOOP_HOME_WARN_SUPPRESS=1

使.bashrc生效,source ~/.bashrc。


参考文章:Hadoop集群(第5期)_Hadoop安装配置



展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部