【Hadoop学习之四】HDFS HA搭建(QJM)

2019/01/03 10:04
阅读数 106

环境
  虚拟机:VMware 10
  Linux版本:CentOS-6.5-x86_64
  客户端:Xshell4
  FTP:Xftp4
  jdk8
  hadoop-3.1.1

由于NameNode对于整个HDFS集群重要性,为避免NameNode单点故障,在集群里创建2个或以上NameNode(不要超过5个),保证高可用。

实现主备NameNode需要解决的问题:
1、通过JournalNodes来保证Active NN与Standby NN之间的元数据同步

2、通过ZKFC来保证Active NN与Standby NN主备切换

3、DataNode会同时向Active NN与Standby NN上报数据块的位置信息


参考:
hdfs HA原理及安装

Hadoop组件之-HDFS(HA实现细节)

HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

 

搭建HA集群部署节点清单:

 

一、平台软件环境
1、平台:GNU/Linux
2、软件:jdk+免密登录
3、JAVA和Hadoop环境变量以及主机名设置
参考:【Hadoop学习之三】Hadoop全分布式安装

二、配置(node1-node4采用相同配置)
1、hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_65
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
#设置ZKFC角色用户
export HDFS_ZKFC_USER=root
#设置JOURNALNODE角色用户
export HDFS_JOURNALNODE_USER=root

 

2、core-site.xml

<configuration> 
  <!--主节点通讯设置-->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://hdfscluster</value> 
  </property>  
  <!--元数据、Block存放目录-->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/data/ha</value> 
  </property>  
  <!--静态目录用户-->  
  <property> 
    <name>hadoop.http.staticuser.user</name>  
    <value>root</value> 
  </property>  
  <!--zk集群-->  
  <property> 
    <name>ha.zookeeper.quorum</name>  
    <value>node2:2181,node3:2181,node4:2181</value> 
  </property> 
</configuration>

 

3、hdfs-site.xml
(1)dfs.nameservices:namenode服务逻辑名称
(2)dfs.ha.namenodes.[nameservice ID] namenode清单,逗号分隔
(3)dfs.namenode.rpc-address.[nameservice ID].[name node ID] HDFS Client通过RPC访问HDFS
(4)dfs.namenode.http-address.[nameservice ID].[name node ID] webUI管理界面主机和端口
(5)dfs.namenode.shared.edits.dir JournalNodes元数据共享目录集群地址
(6)dfs.client.failover.proxy.provider.[nameservice ID] 故障转移的代理类
(7)dfs.ha.fencing.methods 两个namenode的隔离方法,避免脑裂局面
(原来的Active NN 可能由于网络、进程阻塞等原因暂时中断,此时ZKFC将Standby NameNode提升为 Active NN,等原来的Active NN网络或进程恢复后,又继续提供服务,这样就出现脑裂局面。
所以必需采取强制措施将SNN变成ANN之前,先要将原来的ANN变成SNN)
(8)dfs.ha.fencing.ssh.private-key-files 配置ssh私钥免密登录原ANN节点进行降级处理
(9)dfs.journalnode.edits.dir 配置journalnode共享元数据存放位置
(10)dfs.ha.automatic-failover.enabled 配置true支持故障自动转移

<configuration> 
  <!--副本数设置-->  
  <property> 
    <name>dfs.replication</name>  
    <value>3</value> 
  </property>  
  <!--NN集群逻辑名称-->  
  <property> 
    <name>dfs.nameservices</name>  
    <value>hdfscluster</value> 
  </property>  
  <!--NN集群节点清单-->  
  <property> 
    <name>dfs.ha.namenodes.hdfscluster</name>  
    <value>node1,node2</value> 
  </property>  
  <!--与客户端通讯端口-->  
  <property> 
    <name>dfs.namenode.rpc-address.hdfscluster.node1</name>  
    <value>node1:8020</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.hdfscluster.node2</name>  
    <value>node2:8020</value> 
  </property>  
  <!--WEBUI访问端口-->  
  <property> 
    <name>dfs.namenode.http-address.hdfscluster.node1</name>  
    <value>node1:9870</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.hdfscluster.node2</name>  
    <value>node2:9870</value> 
  </property>  
  <!--journalnode地址-->  
  <property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://node1:8485;node2:8485;node3:8485/hdfscluster</value> 
  </property>  
  <!--故障转移代理类-->  
  <property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <!--采用ssh隔离-->  
  <property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence</value> 
  </property>  
  <!--采用私钥进行免密登录-->  
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/root/.ssh/id_rsa</value> 
  </property>  
  <!--journalnode共享元数据存放位置-->  
  <property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/data/ha/journal</value> 
  </property>  
  <!--故障自动转移-->  
  <property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property> 
</configuration>

 4、workers DN节点

node2
node3
node4

 

将hadoop-env.sh、core-site.xml、hdfs-site.xml、workers分发至node2、node3、node4

[root@node1 hadoop]# scp hadoop-env.sh core-site.xml hdfs-site.xml workers node2:`pwd`
[root@node1 hadoop]# scp hadoop-env.sh core-site.xml hdfs-site.xml workers node3:`pwd`
[root@node1 hadoop]# scp hadoop-env.sh core-site.xml hdfs-site.xml workers node4:`pwd`

 

三、安装ZooKeeper
参考:zookeeper 安装以及集群搭建

 

四、启动

注意:启动HDFS之前一定要先启动ZK集群。
1、启动JournalNode守护程序
根据部署清单,在node1、node2、node3

[root@node1 hadoop]# hdfs --daemon start journalnode
[root@node2 hadoop]# hdfs --daemon start journalnode
[root@node3 hadoop]# hdfs --daemon start journalnode
[root@node1 hadoop]# jps
2960 Jps
2921 JournalNode

关闭:hdfs --daemon stop journalnode

查看journalnode共享元数据存放位置配置的路径dfs.journalnode.edits.dir下,会出现这个目录

[root@node1 ha]# ls
journal

 

2、格式化NameNode(集群首次搭建好之后需要格式化,只执行一次)
这里有两台NN,我们选择node1

[root@node1 /]# hdfs namenode -format

 

3、启动主NN

[root@node1 sbin]# hadoop-daemon.sh start namenode
或者
[root@node1 sbin]# hdfs --daemon start

4、备用NN 同步主NN信息
这里node2作为备机NN

[root@node2 sbin]# hdfs namenode -bootstrapStandby

在hadoop.tmp.dir配置的目录下面会出现同步的目录:dfs


如果非HA转做HA时,需要在备机上执行:hdfs namenode -initializeSharedEdits  将主机原来的元数据信息同步到备机上


5、格式化ZK
在其中一台NN上执行命令:

[root@node1 sbin]# hdfs zkfc -formatZK

 

通过zkCli.sh客户端登录ZK集群,会看到生成了hadoop对应的集群节点

6、启动hadoop集群
在主节点NameNode启动集群,会在主和备NN上启动ZKFC守护进程(维护时,可以手动启动ZKFC:hdfs --daemon start zkfc)
[root@node1 sbin]# start-dfs.sh

 

通过zkCli.sh查看节点:

 通过浏览器查看:

 

查看ZK中主节点抢占注册:

7、主备切换测试
(1)关闭Active NameNode
[root@node1 sbin]# hdfs --daemon stop namenode
关闭前:ANN:node1,SNN:node2
关闭后:ANN:node2,SNN:node1

(2)启动刚才关闭的NameNode
[root@node1 sbin]# hdfs --daemon start namenode
启动前:ANN:node2,SNN:node1
启动后:ANN:node2,SNN:node1


(3)关闭node2上的ZKFC
[root@node2 sbin]# hdfs --daemon stop zkfc
关闭前:ANN:node2,SNN:node1
关闭后:ANN:node1,SNN:node2

 

参考:
hadoop-3.1.1/hadoop-3.1.1/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

展开阅读全文
打赏
1
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部