hadoop2.x namenode ha 架构原理分析
hadoop2.x namenode ha 架构原理分析
东方神剑 发表于3年前
hadoop2.x namenode ha 架构原理分析
  • 发表于 3年前
  • 阅读 112
  • 收藏 0
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   

摘要: hadoop2.x namenode ha 架构原理分析

在2.x版本的ha(高可用性)的架构图中



看以看到为了完成对两个NN(NameNode)的无缝切换,DN(DataNoe)需要同时将Block信息发给两个NN,而两个NN之间需要做的是元数据信息的同步。

这里就涉及到同步的问题,共享存储。

在可靠性方面,在每一个NN上启动了DFSZKFailoverController来监听本地NN的运行状态,以便做出相应的判断处理。

而zookeeper就算为了实现一个分布式lock,防止同时出现两个active NN(同时出现两个 active NN现象称为脑裂),以及一些数据的共享。


我们可以在看这幅比较原理基本的架构图。


可以看到每一个NN上,是有HADaemon进程,定时和DFSZKFailoverController的HealthMonitor进行心跳检测。


DFSZKFailoverController其中包含了ActiveStandbyElector来选举active以及standby。


元数据信息通过QJM来实时更新。



我们可以把standby NN看成是一个safemode下的NN,不提供对外服务,但是却可以更新相应的元数据信息修改,block数据上报更新等一系列操作。后面的文章我们会重点分析出整个HA过程。主要包含了DFSZKFailoverController,QJM两部分。

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
东方神剑
粉丝 61
博文 126
码字总数 93166
×
东方神剑
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: