文档章节

CentOS 7下安装集群Hadoop-2.7.3

xhHuang
 xhHuang
发布于 2016/12/18 14:27
字数 1931
阅读 1786
收藏 5

一、硬件环境

我使用的硬件是云创的一个minicloud设备。由三个节点(每个节点8GB内存+128GB SSD+3块3TB SATA)和一个千兆交换机组成。

二、安装前准备

1.在CentOS 7下新建hadoop用户,官方推荐的是hadoop、mapreduce、yarn分别用不同的用户安装,这里我为了省事就全部在hadoop用户下安装了。

2.下载安装包:

1)JDK:jdk-8u112-linux-x64.rpm

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2)Hadoop-2.7.3:hadoop-2.7.3.tar.gz

下载地址:http://archive.apache.org/dist/hadoop/common/stable2/

3.卸载CentOS 7自带的OpenJDK(root权限下

1)首先查看系统已有的openjdk

rpm -qa|grep jdk

看到如下结果:

[hadoop@localhost Desktop]$ rpm -qa|grep jdk
java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64

2)卸载上述找到的openjdk包

yum -y remove java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
yum -y remove java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
yum -y remove java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
yum -y remove java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64

4.安装Oracle JDK(root权限下

rpm -ivh jdk-8u112-linux-x64.rpm

安装完毕后,jdk的路径为/usr/java/jdk1.8.0_112

接着将安装的jdk的路径添加至系统环境变量中:

vi /etc/profile

在文件末尾加上如下内容:

export JAVA_HOME=/usr/java/jdk1.8.0_112
export JRE_HOME=/usr/java/jdk1.8.0_112/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

关闭profile文件,执行下列命令使配置生效:

source /etc/profile

此时我们就可以通过java -version命令检查jdk路径是否配置成功,如下所示:

[root@localhost jdk1.8.0_112]# java -version
java version "1.8.0_112"
Java(TM) SE Runtime Environment (build 1.8.0_112-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)
[root@localhost jdk1.8.0_112]#

5.关闭防火墙(root权限下

执行下述命令关闭防火墙:

systemctl stop firewalld.service  
systemctl disable firewalld.service

在终端效果如下:

[root@localhost Desktop]# systemctl stop firewalld.service 
[root@localhost Desktop]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.
[root@localhost Desktop]#

6.修改主机名并配置相关网络(root权限下

1)修改主机名

在master主机上

hostnamectl set-hostname Master

在slave1主机上

hostnamectl set-hostname slave1

在slave2主机上

hostnamectl set-hostname slave2

2)配置网络

以master主机为例,演示如何配置静态网络及host文件。

我的机器每个节点有两块网卡,我配置其中一块网卡为静态IP作为节点内部通信使用。

vi /etc/sysconfig/network-scripts/ifcfg-enp7s0

(注:我的master机器上要配置的网卡名称为ifcfg-enp7s0)

ifcfg-enp7s0原始内容如下:

TYPE=Ethernet
BOOTPROTO=dhcp
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp7s0
UUID=914595f1-e6f9-4c9b-856a-c4bd79ffe987
DEVICE=enp7s0
ONBOOT=no

修改为:

TYPE=Ethernet
ONBOOT=yes
DEVICE=enp7s0
UUID=914595f1-e6f9-4c9b-856a-c4bd79ffe987
BOOTPROTO=static
IPADDR=59.71.229.189
GATEWAY=59.71.229.254
DEFROUTE=yes
IPV6INIT=no
IPV4_FAILURE_FATAL=yes

3)修改/etc/hosts文件

vi /etc/hosts

加入以下内容:

59.71.229.189 master
59.71.229.190 slave1
59.71.229.191 slave2

为集群中所有节点执行上述的网络配置及hosts文件配置。

7.配置集群节点SSH免密码登录(hadoop权限下

这里我为了方便,是配置的集群中任意节点能够SSH免密码登录到集群其他任意节点。具体步骤如下:

1)对于每一台机器,在hadoop用户下执行以下指令:

ssh-keygen -t rsa -P ''

直接按Enter到底。

2)对于每台机器,首先将自己的公钥加到authorized_keys中,保证ssh localhost无密码登录:

cat id_rsa.pub >> authorized_keys

3)然后将自己的公钥添加至其他每台机器的authorized_keys中,在此过程中需要输入其他机器的密码:

master:

scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/id_rsa_master.pub
scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/.ssh/id_rsa_master.pub

slave1:

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/id_rsa_slave1.pub
scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/.ssh/id_rsa_slave1.pub

slave2:

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/id_rsa_slave2.pub
scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/id_rsa_slave2.pub

4)分别进每一台主机的/home/hadoop/.ssh/目录下,将除本机产生的公钥(id_rsa.pub)之外的其他公钥使用cat命令添加至authorized_keys中。添加完毕之后使用chmod命令给authorized_keys文件设置权限,然后使用rm命令删除所有的公钥:

master:

cat id_rsa_slave1.pub >> authorized_keys
cat id_rsa_slave2.pub >> authorized_keys
chmod 600 authorized_keys
rm id_rsa*.pub

slave1:

cat id_rsa_master.pub >> authorized_keys
cat id_rsa_slave2.pub >> authorized_keys
chmod 600 authorized_keys
rm id_rsa*.pub

slave2:

cat id_rsa_master.pub >> authorized_keys
cat id_rsa_slave1.pub >> authorized_keys
chmod 600 authorized_keys
rm id_rsa*.pub

完成上述步骤,就可以实现从任意一台机器通过ssh命令免密码登录任意一台其他机器了。

三、安装和配置Hadoop(下述步骤在hadoop用户下执行)

1.将hadoop-2.7.3.tar.gz文件解压至/home/hadoop/目录下(在本文档中,文件所在地是hadoop账户下桌面上)可通过下述命令先解压至文件所在地:

tar -zxvf hadoop-2.7.3.tar.gz

然后将解压的文件hadoop-2.7.3所有内容拷贝至/home/hadoop目录下,拷贝之后删除文件所在地的hadoop文件夹:

cp -r /home/hadoop/Desktop/hadoop-2.7.3 /home/hadoop/

2.具体配置过程:

1)在master上,首先/home/hadoop/目录下创建以下目录:

mkdir -p /home/hadoop/hadoopdir/name
mkdir -p /home/hadoop/hadoopdir/data
mkdir -p /home/hadoop/hadoopdir/temp
mkdir -p /home/hadoop/hadoopdir/logs
mkdir -p /home/hadoop/hadoopdir/pids

2)然后通过scp命令将hadoopdir目录复制至其他节点:

scp -r /home/hadoop/hadoopdir hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hadoopdir hadoop@slave2:/home/hadoop/

3)进入/home/hadoop/hadoop-2.7.3/etc/hadoop目录下,修改以下文件:

hadoop-env.sh:

export JAVA_HOME=/usr/java/jdk1.8.0_112
export HADOOP_LOG_DIR=/home/hadoop/hadoopdir/logs
export HADOOP_PID_DIR=/home/hadoop/hadoopdir/pids

mapred-env.sh:

export JAVA_HOME=/usr/java/jdk1.8.0_112
export HADOOP_MAPRED_LOG_DIR=/home/hadoop/hadoopdir/logs
export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopdir/pids

yarn-env.sh:

export JAVA_HOME=/usr/java/jdk1.8.0_112
YARN_LOG_DIR=/home/hadoop/hadoopdir/logs

Slaves文件:

#localhost
slave1
slave2

(注意:如果slaves文件里面不注释localhost,意思是把本机也作为一个DataNode节点)

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>	
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:///home/hadoop/hadoopdir/temp</value>
	</property>
</configuration>

hdfs-site.xml:

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///home/hadoop/hadoopdir/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///home/hadoop/hadoopdir/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>64m</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:9001</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
</configuration>

mapred-site.xml:

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<final>true</final>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobtracker.http.address</name>
		<value>master:50030</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>http://master:9001</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>

yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
</property>

4)master机器下,将/home/hadoop/hadoop-2.7.3目录里面所有内容拷贝至其他节点

scp -r /home/hadoop/hadoop-2.7.3 hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hadoop-2.7.3 hadoop@slave2:/home/hadoop/

5)进入/home/hadoop/hadoop-2.7.3/bin目录,格式化文件系统:

./hdfs namenode -format

格式化文件系统会产生一系列的终端输出,在输出最后几行看到STATUS=0表示格式化成功,如果格式化失败请详细查看日志确定错误原因。

6)进入/home/hadoop/hadoop-2.7.3/sbin目录:

./start-dfs.sh
./start-yarn.sh

上述命令就启动了hdfs和yarn。hadoop集群就跑起来了,如果要关闭,在sbin目录下执行以下命令:

./stop-yarn.sh
./stop-dfs.sh

7)HDFS启动示例

执行start-dfs.sh之后,可以在master:50070网页上看到如下结果,可以看到集群信息和datanode相关信息:

执行start-yarn.sh之后,可以在master:8088网页上看到如下结果,可以看到集群信息相关信息:

© 著作权归作者所有

xhHuang
粉丝 8
博文 37
码字总数 31428
作品 0
武汉
程序员
私信 提问
CentOS 7下安装集群HBase1.2.4

本文是继续前两篇博文: 【CentOS 7下安装Hadoop-2.7.3】https://my.oschina.net/xhhuang/blog/807914 【CentOS 7下安装Zookeeper-3.4.9】https://my.oschina.net/xhhuang/blog/808600 的工作......

xhHuang
2016/12/20
1K
2
搭建HDFS和HBase集群

一、软件版本 Oracle JDK7、Hadoop 2.7.3、HBase 1.2.3、Centos 7 二、注意点 1. 操作系统的hostname必须配置,不要直接用IP,否则zookeeper会报错 2. 关闭操作系统防火墙,或者配置port白名...

诺晨
2016/11/08
114
0
linux(CentOS7)上搭建hadoop2.7分布式集群环境完整操作实战

来吧,小伙伴们 1、环境:3台CentOS7,64位,Hadoop2.7需要64位Linux 提前安装好jdk-8u121-linux-x64.tar.gz, 并配置JAVA_HOME hadoop-2.7.3.tar.gz 2、SSH免密码登录,因为Hadoop需要通过S...

xiejunbo
2016/12/15
98
0
【Hadoop】最新版本Apache Flume 1.7实践(未完结,待定)

缘起: 既然hadoop用了,然后由于项目目前不是分布式,而是集群环境,导致业务日志每次都需要batch来移,然后再通过hadoop进行分析。 既然如此,不如上一个分布式flume来配合现成的HDFS进行处...

lsttoy
2017/01/09
0
0
CentOS 7下安装集群Zookeeper-3.4.9

一、引言 本文章是接着上一篇文章https://my.oschina.net/xhhuang/blog/807914(CentOS 7下安装Hadoop-2.7.3),具体硬件配置详见该文章。 二、安装前准备 1)下载Zookeeper-3.4.9,可在终端...

xhHuang
2016/12/19
783
0

没有更多内容

加载失败,请刷新页面

加载更多

WOW.js 使用教程 页面动画

使用教程 wow.js依赖于animate.css,首先需要在 head内引入animate.css或者animate.min.css。 <link rel="stylesheet" href="css/animate.css"> 引入wow.js或者wow.min.js,然后js文件里再写......

东东笔记
16分钟前
4
0
JavaMail实现简单邮件开发——163邮箱

1、打开 P0P3/SMTP/IMAP 2、开发工具类 CodeUtils.java package com.demo.mymail.utils;import java.util.UUID;public class CodeUtils { public static String generateUn......

开源中国首席碉堡了
17分钟前
5
0
Windows上安装Docker

Windows Docker 安装 win7、win8 系统 win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/dock...

城市之雾
22分钟前
3
0
jdk 设置setConnectionTimeout和SetReadTimeout的意义(详细)

先看例子吧 客户端: package top.quartz.util;/** * description: //connect timeout 是建立连接的超时时间; * //read timeout,是传递数据的超时时间。 * ...

hexiaoming123
22分钟前
16
0
Bootstrap Table含有按钮时表格不对齐

使用Bootstrap Table的时候,在含有按钮的情况,有时候表格的线垂直方向上不对齐 解决方法: (1)调整表格的高度小些或者大些(至于为什么,并不清楚,调整高度后就对齐了) (2)加setTime...

tianyawhl
28分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部