hadoop的伪分布安装步骤

原创
2014/05/19 17:11
阅读数 99

 hadoop的伪分布安装步骤

(使用root用户登录)


一、设置静态的ip

1.右击右上方的联网标志,点击【编辑】选项,选中System eth0 再点【编辑】,

2.进入后选中上方的自动连接(A)。

3.再进行编辑IPv4设置 

方法(M):手动

添加地址:地址(设置本Linux系统的ip,注意ip的范围,可以通过 ifconfig命令查询)、子网掩码(255.255.255.0)、网关(在Windows 命令行下可以通过ipconfig命令查询)


二、ssh(secure shell )的免密法登录

1、vi /etc/sysconfig/network   更改主机名彻底

验证:host name 

2、把主机名与ip 绑定 vi / etc/ hosts  在其内增加一行内容填写ip空格与 主机名 例如:在其中加入本机ip hadoop

验证:ping hadoop

3、关闭防火墙的自动运行 执行命令:chkconfig iptables off 

验证:chkconfig --list  |  grep iptables 

4、产生密钥:ssh-keygen -t rsa 位于 ~/.ssh文件夹中

一直按回车

进入.ssh/ 中查看里面的文件,使用more 命令的详细信息就是公钥加密的内容

执行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys     验证:ssh localhost


三、安装jdk

1、执行命令rm -rf /usr/local/*删除所有内容

2、使用winscp把jdk-6u45-linux-x64.bin 文件(上传)复制到/usr/local目录下

3、执行命令chmod u+x jdk-6u45-linux-x64.bin 赋予执行命令

4、执行命令 ./jdk-6u45-linux-x64.bin 解压缩

5、执行命令 mv jdk1.6.0_45  jdk 更改名字为jdk

6、设置环境变量

执行命令 vi /etc/profile 增加了两行内容

    export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

7、执行命令 source /etc/profile  让该设置立即生效

验证:java -version


四、安装Hadoop

1、使用winscp把hadoop-1.1.2.tar.gz 文件(上传)复制到/usr/local目录下

2、执行命令tar -zxvf tar-l.1.2.tar.gz进行解压缩(在/usr/local目录下)

3、执行命令mv hadoop-1.1.2 hadoop 重命名

4、设置环境变量

执行命令 vi /etc/profile 增加了一行内容

export HADOOP_HOME=/usr/local/hadoop

修改了一行

export PATH=.:$PATH:$HADOOP_HOME/bin:$AVA_HOME/bin

保存退出

5、执行命令 source /etc/profile 使得该设置立即生效

6、修改hadoop的配置文件(位于$HADOOP_HOME/conf目录下)

修改4个配置文件

提示:使用工具WinSCP 进行修改比较简单,在目录中找到相应的文件执行编辑命令。

注意:复制下面的命令时需要删去中文描述字符。否则命令出错。

(1)hadoop-env.sh  (/usr/local/hadoop/conf/hadoop-env.sh)

修改第九行

export JAVA_HOME=/usr/local/jdk

 

 (2)core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

<description>hadoop的运行临时文件的主目录</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>HDFS的访问路径</description>

</property>

</configuration>

(3)hdfs-site.xml

<configuration>

    <property>

<name>dfs.replication</name>

<value>1</value>

<description>存储副本数</description>

</property>

</configuration>

 

(4)mapred-site.xml

<configuration>

    <property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>JobTracker的访问路径</description>

</property>

</configuration>

7、对hadoop进行格式化  

执行命令  hadoop namenode -format(在/usr/local/hadoop/conf目录下)

8、启动hadoop

执行命令 start-all.sh  进行启动

验证:(1)执行命令jps ,发现5个java进程

      分别是 NameNode 、DataNode、SecondaryNameNode、JobTracker、TaskTracker。

       (2)通过浏览器:http://hadoop:50070  与 http://hadoop:50030


五、NameNode进程没有启动的原因:

(1)没有格式化

(2)配置文件只是copy,不修改

(3)hostname 与 ip没有绑定

(4)SSH的免密码登录没有配置成功

    (5)多次格式化hadoop也不可以:

如果多次格式化了就要删除/usr/local/hadoop/tmp文件夹,重新格式化


六、取消Warning: $HADOOP_HOME is deprecated. hadoop的解决办法

1、在/usr/local/hadoop/bin 目录下执行 stop-all.sh命令停止hadoop

2、修改配置文件:vi /etc/profile  在里面添加:           

HADOOP_HOME_WARN_SUPPRESS=1

保存退出

3、执行命令 source /etc/profile 使得该设置立即生效

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部