文档章节

Hadoop2.x解决NN单点故障问题

蓝狐乐队
 蓝狐乐队
发布于 2014/04/27 11:09
字数 228
阅读 805
收藏 0

hadoop解决单点故障问题主要是通过两种方式:

1、NFS文件共享

2、QJM 方式 CLOUDERA提出的

在Hadoop2.x中有两个nn,一个是 active namenode状态是active,另一个是standy namenode  状态是standy两者是进行切换的,但是有且只有一个active!

nfs方式是重量级的需要单独部署维护的,他作为namenode和standy namenode之间数据共享的存储,缺点是如果active 那么node 或者standy namenode有一个和nfs之间发生网络故障,将会造成数据同步问题。

QJM方式解决了nfs面临的问题,active namenode和standy namenode 之间通过一组journalnode奇数来共享数据,active nn 把最近的edits文件写到2n+1个journalnode只有n+1个写入成功,然后standy nn 就开始读取,这种方式支持容错!



© 著作权归作者所有

蓝狐乐队
粉丝 106
博文 322
码字总数 89813
作品 0
昌平
程序员
私信 提问
hadoop2.x和hadoop1.x的区别

hadoop2.0解决了hadoop1.x版本的一些问题如:1.解决了namenode单点故障问题。 2.解决namenode内存压力过大难以扩展问题。 3.解决JobTracker单点故障问题。 4.解决JobTracker访问压力过大问题...

蓝狐乐队
2014/04/11
1K
0
Hadoop基础之HA(高可用)

1.Hadoop2.0产生背景 早期的hadoop版本,NN(namenode)是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法 使用。为了解决这个问题,出现了一堆针对HDF...

landy8530
2017/11/25
0
0
HDFS Federation

在Hadoop 2.0之前,也有若干技术试图解决单点故障的问题: Secondary NameNode。 它不是HA,它只是阶段性的合并edits和fsimage,以缩短集群启动的时间。 当NameNode失效的时候,Secondary NN并...

散关清渭
2015/07/23
69
0
fsimage和edits合并实现

在NameNode运行期间,HDFS的所有更新操作都是直接写到edits中,久而久之edits文件将会变得很大;虽然这对NameNode运行时候是没有什么影响的,但是我们知道当NameNode重启的时候,NameNode先将...

张欢19933
2016/03/29
150
0
Hadoop2.2.0中HDFS的高可用性实现原理

在Hadoop2.0.0之前,NameNode(NN)在HDFS集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到NN重...

蓝狐乐队
2014/04/22
164
0

没有更多内容

加载失败,请刷新页面

加载更多

Google Guava 笔记

一、引言 Guava 是 google 几个java核心类库的集合,包括集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives support] 、并发库 [concurrency libraries] 、通用注解 [common ...

SuShine
26分钟前
7
0
SpringBoot中使用@Value为静态变量赋值并测试是否成功

今天想像普通变量一样如下采用写法取配置的,但取到的是个null。。。 @Value("${test.appKey}")private static String appKey; 才发现不能通过这种方式取配置来给static变量赋值 在网上搜索...

SilentSong
27分钟前
5
0
ECMAScript语句之with 语句

ECMAScript with 语句,用于设置代码在特定对象中的作用域(with运行缓慢,设置了属性值时更加缓慢,最好避免使用with语句) 一、with 语句用于字符串(配合toUpperCase()方法) var a = "C...

专注的阿熊
28分钟前
4
0
Apache Flink 进阶(一):Runtime 核心机制剖析

1. 综述 本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误...

大涛学长
34分钟前
4
0
7. 整数反转

给出一个 32 位的有符号整数,你需要将这个整数中每位上的数字进行反转。 示例 1: 输入: 123 输出: 321 示例 2: 输入: -123 输出: -321 示例 3: 输入: 120 输出: 21 注意: 假设我们的环境只能...

苏坡吴
35分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部