文档章节

hadoop2.x namenode ha 架构原理分析

_hadooper
 _hadooper
发布于 2014/10/26 10:05
字数 318
阅读 2285
收藏 1
在2.x版本的ha的架构图中


看以看到为了完成对两个NN的无缝切换,DN需要同时在Block信息发给两个NN,而NN之间需要做的是元数据信息的同步。
这里就涉及到同步的问题,共享存储。
在可靠性方面,在每一个NN上启动了DFSZKFailoverController来监听本地NN的运行状态,以便做出相应的判断处理。
而zookeeper就算为了实现一个分布式lock,防止同时出现两个active NN,以及一些数据的共享。

我们可以在看这幅比较原理基本的架构图。

可以看到每一个NN上,是有HADeamon进程,定时和DFSZKFailoverController的HealthMonitor进行心跳检测。

DFSZKFailoverController其中包含了ActiveStandbyElector来选举active以及standby。

元数据信息通过QJM来实时更新。


我们可以把standby NN看成是一个safemode下的NN,不提供对外服务,但是却可以更新相应的元数据信息修改,block数据上报更新等一系列操作。后面的文章我们会重点分析出整个HA过程。主要包含了DFSZKFailoverController,QJM两部分。



© 著作权归作者所有

_hadooper
粉丝 11
博文 14
码字总数 10349
作品 0
南京
技术主管
私信 提问
Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比

一、概述 之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章,主要说了利用QJM进行HA部署以及其原理(http://zengzhaozheng.blog.51cto.com/8219051/1441170 )。但是,其中没有详细...

zengzhaozheng
2018/07/02
0
0
大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶
2018/05/05
0
0
视频jourk--hadoop2.2.0(第一个2.x的正式版本)框架介绍:笔记

hadoop2.x包括4个模块: common: hadoop的公共模块,以前叫core。包括通信模块等等。。。 HDFS: 分布式文件系统。 YARN: 任务调度和集群管理框架;是一个云操作系统/平台/框架(上面可以放很...

一枚Sir
2014/08/08
177
0
hadoop2.x启动停止的命令

一、启动,按启动顺序执行命令。如果需要关闭集群,则按反顺序执行即可。 1.如果使用hdfs HA,需先启动zookeeper集群,具体请查看zookeeper的相关命令。 2.如果使用hdfs HA,需格式化zookeep...

cjun1990
2015/07/09
158
0
Hadoop 生态圈介绍

简介 Hadoop 是一个能够处理海量数据的分布式系统基础软件框架,理论上能够通过增加计算节点以处理无限增长的数据,由java写成。其作者是 Doug Cutting,得益于谷歌的Map/Reduce计算模型和G...

bochs
2016/11/17
62
0

没有更多内容

加载失败,请刷新页面

加载更多

MainThreadSupport

MainThreadSupport EventBus 3.0 中的代码片段. org.greenrobot.eventbus.MainThreadSupport 定义一个接口,并给出默认实现类. 调用者可以在EventBus的构建者中替换该实现. public interface ...

马湖村第九后羿
39分钟前
3
0
指定要使用的形状来代替文字的显示

控制手机键盘弹出的功能只能在ios上实现,安卓是实现不了的,所以安卓只能使用type类型来控制键盘类型,例如你要弹出数字键盘就使用type="number",如果要弹出电话键盘就使用type="tel",但这...

前端老手
49分钟前
5
0
总结:Raft协议

一、Raft协议是什么? 分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。 二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收...

浮躁的码农
56分钟前
7
0
Flask-admin Model View字段介绍

Model View字段介绍 can_create = True 是否可以创建can_edit = True 是否可以编辑can_delete = True 是否可以删除list_template = 'admin/model/list.html' 修改显......

dillonxiao
今天
5
0
从AnnotationTransactionAspect开始rushSpring事务

0. Spring 事务 with LTW 0.1. Spring 事务 With LTW的原因: Pure Proxy-base mode有缺陷,其失效原因分析及使用方法及运行机制(LoadTimeWeaverBeanDefinitionParser和 AspectJWeavingEnable......

Aruforce
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部