文档章节

HDFS Namenode

Porco
 Porco
发布于 2015/02/16 17:50
字数 391
阅读 29
收藏 0

1.Namenode组成

    fsimage镜像文件包含了整个HDFS文件系统的所有目录和文件的indoe信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组等)等。

    edit文件主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到edit文件中。

2. 1.X的SecondaryNamenode

     

  • secondarynamenode通知namenode生成新的日志文件(edits.new),以后的日志都写到新的日志文件中。

  • secondarynamenode用http get从元数据节点获得fsimage文件及旧的日志文件(edits)。

  • secondarynamenode将fsimage文件加载到内存中,并执行日志文件(edits)中的操作,然后生成新的fsimage文件。

  • secondarynamenode将新的fsimage文件用http post传回namenode.

  • namenode可以将旧的fsimage文件及旧的日志文件(edits),换为新的fsimage文件和新的日志文件(第一步生成的)(edits.new -> edits),然后更新fstime文件,写入此次checkpoint的时间。

  • 这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息,日志文件也重新开始,不会变的很大了。 

通过上面的步骤能有效减少edits文件的大小从而减少每次启动执行merge的时间。


注:http://p-x1984.iteye.com/blog/860290


3.2.X的HA和merge(NFS和JQM)

NFS,shared NN EDITS LOG


© 著作权归作者所有

共有 人打赏支持
上一篇: HDFS安装
下一篇: HDFS安装
Porco
粉丝 3
博文 2
码字总数 1680
作品 0
广州
程序员
私信 提问
There appears to be a gap in the edit log. We expected txid 2289, but got txid 2859.

错误信息: 2016-09-20 11:48:52,409 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: There appears to be a gap......

今天来找bug
2016/09/23
428
0
Hadoop HDFS概念学习系列之NameNode(五)

 HDFS采用Master/Slave架构。NameNode就是HDFS的Master架构。HDFS系统包括一个NameNode组件,主要负责HDFS文件系统的管理工作,具体包括名称空间(namespace)管理,文件Block管理。   Nam...

技术小哥哥
2017/11/14
0
0
hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop,发现50070页面无法访问,jps后发现namenode未启动,到hadoop的logs日志中查看发现报错 java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io.IOUt...

281824088
2017/02/22
0
0
HDFS Federation(HDFS 联盟)介绍

1. 当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block/storage management)。 1.1 命名空间管理 HD...

zqx1787
2014/12/13
0
0
HDFS文件读写流程讲解

一、HDFS体系结构 HDFS作为分布式文件系统,使用的是master/slave体系结构,角色有三种: NameNode:为HDFS提供元数据服务,NameNode可以控制所有文件的操作,它会把所有的文件元数据存储在文...

姚攀的博客 1.01^365=31.78
2017/12/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

LinkedList基本用法

LinkedList类是双向列表,列表中的每个节点都包含了对前一个和后一个元素的引用. LinkedList的构造函数如下 1. public LinkedList(): ——生成空的链表 2. public LinkedList(Collection col)...

whoisliang
14分钟前
1
0
Andrew Ng教你如何引领公司进入AI时代

摘要: 人工智能时代,企业转型遇到困难?看看Andrew Ng的建议吧! AI(人工智能)技术就像100年前的电力一样,正准备改变每个行业。从现在到2030年,它将创造约13万亿美元的GDP增长。虽然它...

阿里云官方博客
32分钟前
1
0
斗图咖(www.doutuka.com)上线纪念

网站名称:斗图咖 网站描述:是一款年轻人都在玩的斗图网站,来斗图咖一起斗图装逼交朋友吧。站长每天上传收集的最新最火斗图,供大家娱乐聊天发表情;后期也会开发表情自主设计,自己设计表...

focusone
53分钟前
4
0
Spring AOP 切面编程记录日志和接口执行时间

最近客户现在提出系统访问非常慢,需要优化提升访问速度,在排查了nginx、tomcat内存和服务器负载之后,判断是数据库查询速度慢,进一步排查发现是因为部分视图和表查询特别慢导致了整个系统...

编程SHA
今天
8
0
15个Spring的核心注释示例

众所周知,Spring DI和Spring IOC是Spring Framework的核心概念。让我们从org.springframework.beans.factory.annotation和org.springframework.context.annotation包中探索一些Spring核心注......

java菜分享
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部