hadoop2.x HA下DFSClient初始化流程
hadoop2.x HA下DFSClient初始化流程
_hadooper 发表于4年前
hadoop2.x HA下DFSClient初始化流程
  • 发表于 4年前
  • 阅读 911
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   

摘要: hadoop2.x HA下DFSClient初始化流程
Hadoop2.X NameNode加入了autofiledover机制,对于采用了HA的namenode,在HDFS Client访问的时候,是如何自动识别active的NN,又是在active NN 宕机的时候,自动切换到新的NN呢。
本文将从源码角度分析以下两个问题:
1.DFSClient的初始化过程。
2.在Active NN宕机的时候,如何做到自动切换。



1.DFSClient的初始化:


主要涉及的类有以下几个:NameNodeProxies、RetryProxy、RetryInvocationHandler、ConfiguredFailoverProxyProvider。

NameNodeProxies
与NN通讯的对象的创建提供类
RetryProxy
RetryProxy的工厂方法
RetryInvocationHandler
连接异常代理的方法实现
ConfiguredFailoverProxyProvider
获取可用NN的类
具体代码实现相对比较简单,只是逻辑稍微复杂。可自己看源码,有问题可以讨论。

2.在Active NN宕机的时候,如何做到自动切换。
可以看到对于连接异常的处理实现代码:

   
if (action.action == RetryAction.RetryDecision.FAILOVER_AND_RETRY) {//继续选择可用的NN节点
            // Make sure that concurrent failed method invocations only cause a
            // single actual fail over.
            synchronized (proxyProvider) {
              if (invocationAttemptFailoverCount == proxyProviderFailoverCount) {
                proxyProvider.performFailover(currentProxy.proxy); //该方法会重新获取下一个可用的NN
                proxyProviderFailoverCount++;
              } else {
                LOG.warn("A failover has occurred since the start of this method"
                    + " invocation attempt.");
              }
              currentProxy = proxyProvider.getProxy(); //返回当前可用的NN
            }
            invocationFailoverCount++;
          }





performFailover的实现:

@Override
  public synchronized void performFailover(T currentProxy) {
    currentProxyIndex = (currentProxyIndex + 1) % proxies.size();
  }





其实对于获取可用的NN,就是将所有的NN节点方法到List中,然后从下标0开始获取NN,如果有异常Index++,继续获取,直到可用。
标签: hadoop ha dfsclient
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 9
博文 13
码字总数 10349
×
_hadooper
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: