Hadoop(一)伪分布

原创
2017/03/01 21:26
阅读数 2

1.在win7电脑上安装VMware,然后在VMware中安装centos。(过程略)

2.关闭防火墙

其中指令:

service iptables stop 关闭防火墙

service iptables status 查看防火墙状态

chkconfig --list | grep iptables  输出 所有服务列 并 过滤防火墙部分(其中有开启状态说明防火墙在某些情况会被打开)

chkconfig iptables off 关闭防火墙状态(使用后防火墙完全关闭)

3.SHH免密码登录

其中指令:

ssh-keygen -t rsa 产生秘钥,位于 ~/.ssh文件夹中(rsa为加密方式)

加密后生成id_rsa(私钥)和 id_rsa.pub(公钥)

cp id_rsa.pub authorized_keys

(复制公钥改名authorized_keys,因为ssh验证的时候会自动读取authorized_keys文件)

ssh localhost 自己免密码登录自己(可以测试下)

4.安装JDK(hadoop运行在JDK上的)

    4.1 使用FTP把hadoop安装包和JDK传到linux文件夹下

    4.2 解压JDK并设置系统环境

其中指令:

rm -rf * 删除当前文件下所有文件

cp /root/downloads/* . 复制downloads文件夹下所有文件到当前文件夹下

java -version 查询java版本

rpm -e --nodeps jdk版本号 清除原有的jdk

tar -xzvf JDK的gz压缩包 解压jdk

vi ~/.bashrc 修改配置文件,增加JDK相关配置信息

source ~/.bashrc 让配置文件立即生效

下图为传输安装文件

下图为清除原有的JDK

5.安装hadoop

    5.1解压hadoop tar -zxvf hadoop-1.1.2.tar.gz

    5.2重命名mv hadoop-1.1.2 hadoop

    5.3修改profile文件 vi /etc/profile(增加HADOOP_HOME和PATH)

    5.4让profile文件立即生效source /etc/profile

    5.5修改hadoop配置文件,位于$HADOOP_HOME/conf目录下

        5.5.1 hadoop-env.sh

        5.5.2 core-site.xml

        5.5.3 hdfs-site.xml

        5.5.4 mapred.xml

    5.6执行命令 hadoop namenode -format 对hadoop进行格式化

    5.7执行命令start-all.sh进行启动命令(在HADOOP_HOME/bin目录下)

    5.8执行命令jps查询java进程(除了jps本身外,有五个进程,说明hadoop启动的是java进程)

    5.9也可以在linux中打开火狐输入hadoop:50070进行查看namenode进程(证明namenode存活)

    5.10也可以在linux中打开火狐输入hadoop:50030进行查看Map/Reduce(证明jobtracker存活)

hadoop-env.sh 修改如下图:

core-site.xml 修改如下图:

hdfs-sit.xml修改如下图:

mapred-site.xml修改如下图:

进程在跑,证明配置成功!!!

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部