hadoop实践(一) hadoop-2.7.3的安装配置

原创
2017/05/13 11:31
阅读数 55

1、准备环境

(1)centos6.5

(2)java1.8

(3)hadoop-2.7.3

2、安装环境

操作系统和java环境的安装不再赘述

(1)添加用户组

image

(2)创建用户

image

(3)设置用户密码

image

(4)设置peter用户的宿主目录

image

(5)同步时间

image

image

image(更改时区)

(6)修改hostname

image

image

(7)配置hosts文件

image

image

(8)赋予peter用户root权限

image

image

(9)配置免秘钥登录

image(创建.ssh文件夹)

image(执行并连续回车三次)

image(拷贝文件)

image(拷贝到slave的.ssh文件夹下)

image(测试)

(2)hadoop-2.7.3安装

  (1)下载稳定版本2.7.3 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/,将下载文件上传到

image下,并解压文件

image

(2)配置环境变量

image

添加如下内容:

image

image

(3)在/home/peter/bigdata/hadoop-2.7.3下创建hadoop必须的目录

image

(4)配置core-site.xml文件

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑core-site.xml文件,

image

(5)配置hdfs-site.xml文件

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑hdfs-site.xml文件,

image

(6)配置mapred-site.xml文件,若无此文件,image(拷贝生成)

image

(7)配置yarn-site.xml

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑yarn-site.xml文件,

image

(8)配置hadoop-env.sh

编辑文件,在底部添加如下内容:

export HADOOP_IDENT_STRING=$USER export HADOOP_IDENT_STRING=$USER export JAVA_HOME=/usr/local/java/jdk1.8.0_40 export HADOOP_HOME=/home/peter/bigdata/hadoop-2.7.3 export HADOOP_PID_DIR=/home/peter/bigdata/pids export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(9)配置slaves文件
sudo vi slaves slave

(10)初始化hadoop

执行hadoop namenode –format格式化namenode,注意,若多次格式化namenode,则会造成namenode或datanode不能启动,原因是两者的uuid由于重新格式化后,出现了不一致。出现这种情况,删除tmp及hdfs目录后,重新格式化namenode,再次启动hadoop

(11)启动hadoop

使用start-dfs.sh ,start-yarn.sh启动hadoop软件(停止为stop-dfs.sh、stop-yarn.sh)。

image

image

在master上执行hdsf dfsadmin –report,若配置成功,出现如下信息:

image

image

image

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部