利用vmware模拟hadoop分布式部署环境

原创
2017/01/15 18:25
阅读数 101

实验概述

本次实验采用vmware模拟hadoop分布式环境部署,实验环境采用一主二从架构,主从虚拟化配置相同。

集群节点规划

在安装 Hadoop 系统前,必须对整个 Hadoop 集群系统做一下规划。

  • 规划的内容主要包括:
  1. 有几台机器作为集群中的节点。
  2. 每个节点担任的角色分别是什么。
  3. 每台机器的 IP 和主机名。
  • 以下是本文准备实现的 Hadoop 集群系统: 输入图片说明 输入图片说明

实验物理机环境

  • 物理机操作系统:windows10
  • 物理机硬盘:WD 1T 7200 *2
  • 物理机CPU:I7-4700
  • 物理机内存:32G DDR3 1600

实验虚拟化环境

  • 虚拟化平台:VMware Workstation Pro 12
  • 虚拟化操作系统:Ubuntu 16.04 LTS
  • 虚拟化硬盘:scsi 400G
  • 虚拟化CPU:I7-4700 2颗2核心
  • 虚拟化内存:8G

hadoop配置过程

1、 官网下载hadoop安装包,目前最新2.7.3,官网下载地址

wget -c http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2、安装JAVA的JDK7,并且设置三个机器的JAVA_HOME

  • Oracle Java 7 (JDK)的PPA源(ppa:webupd8team/java),安装命令如下:
sudo apt-get install -y python-software-properties software-properties-common
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java7-installer
  • 更改默认JDK版本
sudo update-alternatives --config java
  • 选择 路径 优先级 状态
0 /usr/lib/jvm/java-7-oracle/jre/bin/java 1062 自动模式 
1 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java 1061 手动模式 
2 /usr/lib/jvm/java-7-oracle/jre/bin/java 1062 手动模式
要维持当前值[*]请按回车键,或者键入选择的编号:0
  • 通过java -version命令检查一下安装结果,出现以下即为安装成功
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
  • 设置/etc/profile的JAVA_HOME环境变量
export JAVA_HOME="/usr/lib/jvm/java-7-oracle"
export JRE_HOME="${JAVA_HOME}/jre"
export CLASSPATH=".:${JAVA_HOME}/lib:${JRE_HOME}/lib"

source /etc/profile

3、解压缩hadoop-2.7.3.tar.gz,并且移动到/etc/目录下,把权限更改成登录账号,我的账号是zrxlab

tar -zxvf hadoop-2.7.3.tar.gz

sudo mv hadoop-2.7.3 /etc/hadoop

sudo chown -R zrxlab:zrxlab  /etc/hadoop

4、编辑hosts文件,新增规划的IP与域名的对应关系,另外检查每个主机名是否对应本机,如果不对需要改过来,下面以master为例

127.0.0.1       localhost
127.0.1.1       BigDataMaster

192.168.31.186 zrx-lab-master
192.168.31.67 zrx-lab-slave001
192.168.31.134 zrx-lab-slave002

5、设置MASTER机器免登陆从机器,ssh-keygen,根据一路全部回车,或者设置自己秘钥也行

ssh-keygen
scp ~/.ssh/id_rsa.pub zrx-lab-slave001:~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub zrx-lab-slave002:~/.ssh/authorized_keys

6、修改 hadoop-env.sh 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/hadoop-env.sh
  • 找到export JAVA_HOME=${JAVA_HOME}换成export JAVA_HOME="/usr/lib/jvm/java-7-oracle"
vim /etc/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME="/usr/lib/jvm/java-7-oracle"

7、修改 slaves 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/slaves
  • 配置文件加入从机器的域名
zrx-lab-slave001
zrx-lab-slave002

8、修改 core-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/core-site.xml -修改内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://zrx-lab-master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-tmp</value>
</property>
</configuration>

9、修改 hdfs-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/hdfs-site.xml
  • 修改内容:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///etc/hadoop/hadoop-dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:///etc/hadoop/hadoop-dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

10、修改 yarn-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/yarn-site.xml
  • 修改内容:
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>zrx-lab-master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>zrx-lab-master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>zrx-lab-master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>zrx-lab-master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>zrx-lab-master:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

11、修改 mapred-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/mapred-site.xml
  • 修改内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>zrx-lab-master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>zrx-lab-master:19888</value>
</property>
</configuration>

12、将 Master 配置好的 Hadoop 系统拷贝到所有 Slave 上

sudo scp -r /etc/hadoop/ zrxlab@zrx-lab-slave001:/etc/
sudo scp -r /etc/hadoop/ zrxlab@zrx-lab-slave002:/etc/

13、在 Master 上设置 Hadoop 的环境变量

export HADOOP_HOME=“/etc/hadoop”
export PATH=$HADOOP_HOME/bin:$PATH

14、Hadoop 格式化

cd /etc/hadoop/bin
 ./hdfs namenode -format

15、Hadoop 启动

cd /etc//hadoop/sbin/
./start-dfs.sh
./start-yarn.sh

-通过jps查看启动进程状态看到以下情况即为成功

  • 主机器状态

输入图片说明

  • 从机器状态

输入图片说明

  • 另外可通过如下的方法查看系统的运行状态:
查看 HDFS:http://192.168.31.186:50070/
查看 ResourceManager:http://192.168.31.186:8088/
  • 如果关闭 HDFS 或 YARN 的服务,则可执行如下命令:
stop-dfs.sh #停止 HDFS 服务
stop-yarn.sh #停止 YARN 服务
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部