Hadoop的Ha机制

原创
2017/01/02 19:58
阅读数 82

Hadoop中的HA机制:
注:    Hadoop中的HA机制是从hadoop2.0以后开始的;
HA的运作机制:
所谓的HA就是高可用,即(7*24小时不间断的进行服务)
所以我们就要消除单节点的故障问题,
在hadoop中通过配置双namenode消除单节点的
双namenode协调工作的要点:
A、    元数据管理方式需要改变:
        内存中各自保存一份元数据
        Edits日志只能有一份,只有Active状态的namenode节点可以做写操作
        两个namenode都可以读取edits
        共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)
B、需要一个状态管理功能模块
        实现了一个zkfailover,常驻在每一个namenode所在的节点
        每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识
        当需要进行状态切换时,由zkfailover来负责切换
        切换时需要防止brain split现象的发生
 

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部