文档章节

利用vmware模拟hadoop分布式部署环境

w
 wcpsoft
发布于 2017/01/15 18:25
字数 1132
阅读 47
收藏 0

实验概述

本次实验采用vmware模拟hadoop分布式环境部署,实验环境采用一主二从架构,主从虚拟化配置相同。

集群节点规划

在安装 Hadoop 系统前,必须对整个 Hadoop 集群系统做一下规划。

  • 规划的内容主要包括:
  1. 有几台机器作为集群中的节点。
  2. 每个节点担任的角色分别是什么。
  3. 每台机器的 IP 和主机名。
  • 以下是本文准备实现的 Hadoop 集群系统: 输入图片说明 输入图片说明

实验物理机环境

  • 物理机操作系统:windows10
  • 物理机硬盘:WD 1T 7200 *2
  • 物理机CPU:I7-4700
  • 物理机内存:32G DDR3 1600

实验虚拟化环境

  • 虚拟化平台:VMware Workstation Pro 12
  • 虚拟化操作系统:Ubuntu 16.04 LTS
  • 虚拟化硬盘:scsi 400G
  • 虚拟化CPU:I7-4700 2颗2核心
  • 虚拟化内存:8G

hadoop配置过程

1、 官网下载hadoop安装包,目前最新2.7.3,官网下载地址

wget -c http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2、安装JAVA的JDK7,并且设置三个机器的JAVA_HOME

  • Oracle Java 7 (JDK)的PPA源(ppa:webupd8team/java),安装命令如下:
sudo apt-get install -y python-software-properties software-properties-common
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java7-installer
  • 更改默认JDK版本
sudo update-alternatives --config java
  • 选择 路径 优先级 状态
0 /usr/lib/jvm/java-7-oracle/jre/bin/java 1062 自动模式 
1 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java 1061 手动模式 
2 /usr/lib/jvm/java-7-oracle/jre/bin/java 1062 手动模式
要维持当前值[*]请按回车键,或者键入选择的编号:0
  • 通过java -version命令检查一下安装结果,出现以下即为安装成功
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
  • 设置/etc/profile的JAVA_HOME环境变量
export JAVA_HOME="/usr/lib/jvm/java-7-oracle"
export JRE_HOME="${JAVA_HOME}/jre"
export CLASSPATH=".:${JAVA_HOME}/lib:${JRE_HOME}/lib"

source /etc/profile

3、解压缩hadoop-2.7.3.tar.gz,并且移动到/etc/目录下,把权限更改成登录账号,我的账号是zrxlab

tar -zxvf hadoop-2.7.3.tar.gz

sudo mv hadoop-2.7.3 /etc/hadoop

sudo chown -R zrxlab:zrxlab  /etc/hadoop

4、编辑hosts文件,新增规划的IP与域名的对应关系,另外检查每个主机名是否对应本机,如果不对需要改过来,下面以master为例

127.0.0.1       localhost
127.0.1.1       BigDataMaster

192.168.31.186 zrx-lab-master
192.168.31.67 zrx-lab-slave001
192.168.31.134 zrx-lab-slave002

5、设置MASTER机器免登陆从机器,ssh-keygen,根据一路全部回车,或者设置自己秘钥也行

ssh-keygen
scp ~/.ssh/id_rsa.pub zrx-lab-slave001:~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub zrx-lab-slave002:~/.ssh/authorized_keys

6、修改 hadoop-env.sh 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/hadoop-env.sh
  • 找到export JAVA_HOME=${JAVA_HOME}换成export JAVA_HOME="/usr/lib/jvm/java-7-oracle"
vim /etc/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME="/usr/lib/jvm/java-7-oracle"

7、修改 slaves 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/slaves
  • 配置文件加入从机器的域名
zrx-lab-slave001
zrx-lab-slave002

8、修改 core-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/core-site.xml -修改内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://zrx-lab-master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-tmp</value>
</property>
</configuration>

9、修改 hdfs-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/hdfs-site.xml
  • 修改内容:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///etc/hadoop/hadoop-dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:///etc/hadoop/hadoop-dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

10、修改 yarn-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/yarn-site.xml
  • 修改内容:
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>zrx-lab-master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>zrx-lab-master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>zrx-lab-master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>zrx-lab-master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>zrx-lab-master:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

11、修改 mapred-site.xml 配置文件

  • 配置文件位置:/etc/hadoop/etc/hadoop/mapred-site.xml
  • 修改内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>zrx-lab-master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>zrx-lab-master:19888</value>
</property>
</configuration>

12、将 Master 配置好的 Hadoop 系统拷贝到所有 Slave 上

sudo scp -r /etc/hadoop/ zrxlab@zrx-lab-slave001:/etc/
sudo scp -r /etc/hadoop/ zrxlab@zrx-lab-slave002:/etc/

13、在 Master 上设置 Hadoop 的环境变量

export HADOOP_HOME=“/etc/hadoop”
export PATH=$HADOOP_HOME/bin:$PATH

14、Hadoop 格式化

cd /etc/hadoop/bin
 ./hdfs namenode -format

15、Hadoop 启动

cd /etc//hadoop/sbin/
./start-dfs.sh
./start-yarn.sh

-通过jps查看启动进程状态看到以下情况即为成功

  • 主机器状态

输入图片说明

  • 从机器状态

输入图片说明

  • 另外可通过如下的方法查看系统的运行状态:
查看 HDFS:http://192.168.31.186:50070/
查看 ResourceManager:http://192.168.31.186:8088/
  • 如果关闭 HDFS 或 YARN 的服务,则可执行如下命令:
stop-dfs.sh #停止 HDFS 服务
stop-yarn.sh #停止 YARN 服务

© 著作权归作者所有

w
粉丝 0
博文 3
码字总数 1262
作品 0
技术主管
私信 提问
VMware发布Serengeti项目,支持云中部署Hadoop

全球虚拟化和云基础架构领导厂商VMware公司今天公布了最新开源项目——Serengeti,支持企业能够在 虚拟和云环境中快速部署、管理和扩展Apache Hadoop。此外,VMware与Apache Hadoop社区共同合...

oschina
2012/06/15
1K
1
Hadoop部署管理和扩展--Serengeti

全球虚拟化和云基础架构领导厂商VMware公司公布了最新开源项目——Serengeti,支持企业能够在虚拟和云环境中快速部署、管理和扩展Apache Hadoop。此外,VMware与Apache Hadoop社区共同合作研...

匿名
2012/06/15
2.4K
0
虚拟化Hadoop集群的部署和管理 - 基本操作

在Big Data Extensions(BDE)上不仅可以在分钟级别非常快速地部署Hadoop集群,这点可以通过前文《大数据虚拟化零起点-6基础运维第五步-使用CLI创建Apache Hadoop集群》和《大数据虚拟化零起...

vBigData
2013/09/10
0
0
Hadoop虚拟化扩展(HVE)之资源扩展技术

背景 在虚拟化的云环境中,Hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个Hadoop集群,运行计算任务...

vBigData
2013/11/06
0
0
Hadoop完全分布式安装以及配置教程

Hadoop完全分布式安装 在此主要介绍hadoop完全分布式的安装配置。 因为我们硬件设施有限,所以我们采用虚拟机的方式模拟hadoop集群,我们准备建立四台虚拟机,一台机器master作为管理节点,其...

u012045426的博客
2017/12/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
12
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部