文档章节

Hadoop完全分布式集群搭建

星汉
 星汉
发布于 2018/04/27 12:48
字数 2182
阅读 1765
收藏 26

Hadoop完全分布式集群搭建

一、介绍

    Hadoop2.0中,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享(这也是主流的做法)。如下图所示,便是JournalNode的架构图。

    两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。

    对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。

二、配置

1、准备环境

    这里搭建一个5台服务器的集群,当然最低三台也可以搭建。

    Zookeeper版本:3.4.7

    Hadoop版本:2.7.1

1.主机角色分配

    以下为每台服务器的角色分配,可以根据自己的服务器数量进行调整。

1>hadoop01

    Zookeeper、NameNode、DFSZKFailoverController、ResourceManager。

2>hadoop02

    Zookeeper、NameNode2、DFSZKFailoverController。

3>hadoop03

    Zookeeper、DataNode、NodeManager、JournalNode。

4>hadoop04

    Zookeeper、DataNode、NodeManager、JournalNode。

5>hadoop05

    Zookeeper、DataNode、NodeManager、JournalNode。

2.关闭防火墙

    一般的生产环境不需要系统自带的防火墙,如果没有外置的防火墙也可以开启,但是要将通信的端口等在防火墙中允许通过。这里为了实验的简单,就直接将防火墙关闭。

service iptables status #查看防火墙状态
service iptables start #立即开启防火墙,但是重启后失效。
service iptables stop #立即关闭防火墙,但是重启后失效。

#重启后生效

chkconfig iptables on #开启防火墙,重启后生效。
chkconfig iptables off #关闭防火墙,重启后生效。

  

3.配置主机名

    修改文件 /etc/sysconfig/network

vim /etc/sysconfig/network

    !!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动!

source /etc/sysconfig/network

    经过上面的修改,主机名称不会马上改变,必须重启才能生效。所以可以使用如下命令进行立即更改:

hostname

4.配置hosts

    修改文件 /etc/hosts

vim /etc/hosts

    填入以下内容

127.0.0.1 hadoop01
其他主机和ip对应信息。。。

    以上两部操作是为了实现ip的解耦,如果你在多个框架服务里全部填写的是ip那么,一旦你服务器的ip发生改变,那么每个服务框架都需要修改ip,如果你设置的是主机名,那么当你的服务器ip发生改变,只需要修改hosts文件中,主机名和ip的映射关系即可。

5.配置免密登录

    集群中所有主机都要互相进行免密登录。

    生成密钥:

ssh-keygen

发送公钥:

ssh-copy-id root@hadoop01

    此时在远程主机的/root/.ssh/authorized_keys文件中保存了公钥,在known_hosts中保存了已知主机信息,当再次访问的时候就不需要输入密码了。

ssh hadoop01

    通过此命令远程连接,检验是否可以不需密码连接。

    这里需要注意的是一定要给本机也发送一下。

6.安装jdk

1>解压安装

    通过fz将jdk安装包上传、解压安装包,命令如下:

​​​​​​​tar -zxvf [jdk安装包位置]

2>配置环境变量

    修改/etc/profile。

    这个文件是每个用户登录时都会运行的环境变量设置,当用户第一次登录时,该文件被执行。并从/etc/profile.d目录的配置文件中搜集shell的设置。

vim /etc/profile

    在文件行尾加入以下内容后保存退出。

export JAVA_HOME=/home/app/jdk1.7.0_45/
export PATH=$PATH:$JAVA_HOME/bin

3>重新加载

    重新加载profile使配置生效。

source /etc/profile

    环境变量配置完成,测试环境变量是否生效。

echo $JAVA_HOME
java -version

7.搭建Zookeeper集群

    参见:ZooKepper集群搭建

2、配置hadoop

1.解压

    将安装包上传到服务器,进行解压。

tar -zxvf hadoop-2.7.1_64bit.tar.gz

2.修改配置

    以下文件均为Hadoop完全分布式需要配置的文件。此配置按照上述的5台服务器组件的集群。

1>hadoop-env.sh

    在此文件中,将java的环境变量改为和/etc/profile文件中的java环境变量值一致即可。

JAVA_HOME=/home/app/jdk1.7.0_45/

2>core-site.xml

    以下为此文件的配置模版。

<configuration>
<!-- 指定hdfs的nameservice为ns -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定hadoop数据临时存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/work/hadoop-2.7.1/tmp</value>
</property>
<!--指定hdfs操作数据的缓冲区大小 可以不配-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
</property>
</configuration>

3>hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为ns,需要和core-site.xml中的保持一致 --> <property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop03:8485;hadoop04:8485;hadoop05:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/root/work/hadoop-2.7.1/tmp/journal</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- namenode存储位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/work/hadoop-2.7.1/tmp/name</value>
</property>    
<!-- dataode存储位置 -->
<property>    
<name>dfs.datanode.data.dir</name>
<value>/root/work/hadoop-2.7.1/tmp/data</value>
</property>
<!-- 副本数量根据自己的需求配置,这里配置2个 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

4>mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5>yarn-site.xml

<configuration>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>    
<name>yarn.nodemanager.aux-services</name>    
<value>mapreduce_shuffle</value>    
</property>  
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
</configuration>

6>slaves

    这里我们将hadoop03、hadoop04、hadoop05配置为存储数据的节点。

vim slaves
hadoop03
hadoop04
hadoop05

3.环境变量

    配置文件/etc/profile:

vim /etc/profile

在其末尾追加如下内容:

export HADOOP_HOME=[hadoop的安装路径]
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.其他服务器

    使用scp命令将配置文件拷贝到其他服务器上。

    这里要注意,如果其他服务器的jdk,Zookeeper等配置和当前这台服务器的配置是一样的话,直接拷贝过去不用修改。

三、启动

    启动完全分布式hadoop:

1、启动zk集群 

./zkServer.sh start

2、启动jn集群

sbin/hadoop-daemons.sh start journalnode

1.格式化zkfc

    第一次启动要格式化

hdfs zkfc -formatZK

2.格式化hdfs

    第一次启动要格式化

hadoop namenode -format

3、启动NameNode

在hadoop01上:

hadoop-daemon.sh start namenode

在hadoop02上:

hdfs namenode -bootstrapStandby #把NameNode的数据同步到hadoop02上
hadoop-daemon.sh start namenode #启动备用的namenode

 

4、启动DataNode

hadoop-daemons.sh start datanode

5、启动yarn

start-yarn.sh

6、启动ZKFC

    在hadoop01

hadoop-daemon.sh start zkfc

    在hadoop02

hadoop-daemon.sh start zkfc

 

7、启动之后

    启动完成之后,使用jps命令查看各台服务器,进程如下:

    hadoop01:

10877 QuorumPeerMain
11351 NameNode
11871 DFSZKFailoverController
11570 ResourceManager

    hadoop02:

16019 QuorumPeerMain
16214 NameNode
16344 DFSZKFailoverController

    hadoop03:

16548 QuorumPeerMain
16783 DataNode
16893 NodeManager
16701 JournalNode

    hadoop04:

16565 QuorumPeerMain
16798 DataNode
16908 NodeManager
16716 JournalNode

    hadoop05:

16562 QuorumPeerMain
16809 DataNode
16919 NodeManager
16727 JournalNode

    至此整个集群搭建完成,可以正常使用!

 

上一篇:Hadoop伪分布式模式搭建

下一篇:Hadoop-HDFS基础原理与操作

© 著作权归作者所有

星汉

星汉

粉丝 45
博文 106
码字总数 302232
作品 0
朝阳
高级程序员
私信 提问
加载中

评论(2)

星汉
星汉 博主

引用来自“LootanHu”的评论

有个小小的建议,既然是 CentOS,可以直接 yum 安装 jdk,比如:


yum -y install java-1.8.0-openjdk-headless

然后不建议直接修改 /etc/profile 文件,把内容放进 /etc/profile.d 目录下面某个新文件比较好。
首先感谢建议,是这样的,如果用yum安装的话,个人感觉对jdk环境变量的管理不方便,因为好多的服务里面要配置jdk的环境变量,自己填写的话,可以精准的掌握这个环境变量,从而减少错误的出现,您觉得呢?
LootanHu
LootanHu
有个小小的建议,既然是 CentOS,可以直接 yum 安装 jdk,比如:


yum -y install java-1.8.0-openjdk-headless

然后不建议直接修改 /etc/profile 文件,把内容放进 /etc/profile.d 目录下面某个新文件比较好。
hbase分布式集群搭建

hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环...

纯洁的虫纸
2017/08/11
0
0
大数据教程(一)—— Hadoop集群坏境搭建配置

前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到...

biubiubiu!
2017/05/02
0
0
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
05/21
17
0
Hadoop单机模式部署

一、Hadoop部署模式 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的J...

结束的伤感
2016/04/20
0
0
hadoop本地(独立)模式-安装

本人博客开始迁移,博客整个架构自己搭建及编码http://www.cookqq.com/listBlog.action 本地(独立)模式 Hadoop的默认配置即为本地模式,此时Hadoop使用本地文件系统而非分布式文件系统,而且...

cookqq
2013/04/11
3K
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
8
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
5
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部