文档章节

HDFS Namenode

Porco
 Porco
发布于 2015/02/16 17:50
字数 391
阅读 28
收藏 0

1.Namenode组成

    fsimage镜像文件包含了整个HDFS文件系统的所有目录和文件的indoe信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组等)等。

    edit文件主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到edit文件中。

2. 1.X的SecondaryNamenode

     

  • secondarynamenode通知namenode生成新的日志文件(edits.new),以后的日志都写到新的日志文件中。

  • secondarynamenode用http get从元数据节点获得fsimage文件及旧的日志文件(edits)。

  • secondarynamenode将fsimage文件加载到内存中,并执行日志文件(edits)中的操作,然后生成新的fsimage文件。

  • secondarynamenode将新的fsimage文件用http post传回namenode.

  • namenode可以将旧的fsimage文件及旧的日志文件(edits),换为新的fsimage文件和新的日志文件(第一步生成的)(edits.new -> edits),然后更新fstime文件,写入此次checkpoint的时间。

  • 这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息,日志文件也重新开始,不会变的很大了。 

通过上面的步骤能有效减少edits文件的大小从而减少每次启动执行merge的时间。


注:http://p-x1984.iteye.com/blog/860290


3.2.X的HA和merge(NFS和JQM)

NFS,shared NN EDITS LOG


© 著作权归作者所有

共有 人打赏支持
Porco
粉丝 3
博文 2
码字总数 1680
作品 0
广州
程序员
There appears to be a gap in the edit log. We expected txid 2289, but got txid 2859.

错误信息: 2016-09-20 11:48:52,409 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: There appears to be a gap......

今天来找bug
2016/09/23
428
0
HDFS Federation(HDFS 联盟)介绍

1. 当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block/storage management)。 1.1 命名空间管理 HD...

zqx1787
2014/12/13
0
0
HDFS Federation(HDFS 联盟)介绍

当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block/storage management)。 1.1 命名空间管理 HDFS...

蓝狐乐队
2014/04/27
0
0
HDFS文件读写流程讲解

一、HDFS体系结构 HDFS作为分布式文件系统,使用的是master/slave体系结构,角色有三种: NameNode:为HDFS提供元数据服务,NameNode可以控制所有文件的操作,它会把所有的文件元数据存储在文...

姚攀的博客 1.01^365=31.78
2017/12/12
0
0
hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop,发现50070页面无法访问,jps后发现namenode未启动,到hadoop的logs日志中查看发现报错 java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io.IOUt...

281824088
2017/02/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

InvalidKeyException: Illegal key size

Caused by: java.lang.RuntimeException: java.security.InvalidKeyException: Illegal key size 解决方案:去官方下载JCE无限制权限策略文件。 jdk 5: http://www.oracle.com/technetwork/j......

自由的开源
7分钟前
0
0
JAVA秒杀实现以及优化原理

秒杀与其他业务最大的区别在于:秒杀的瞬间, (1)系统的并发量会非常的大 (2)并发量大的同时,网络的流量也会瞬间变大。 关于(2),最常用的办法就是做页面静态化,也就是常说的前后端分...

小贱是个程序员
11分钟前
1
0
Spring Aop之Advisor解析

在上文Spring Aop之Target Source详解中,我们讲解了Spring是如何通过封装Target Source来达到对最终获取的目标bean进行封装的目的。其中我们讲解到,Spring Aop对目标bean进行代理是通过Ann...

爱宝贝丶
13分钟前
0
0
Java高级工程师面试阿里,阿里云,天猫,菜鸟,涉及到的知识点

前言: 分享 Java高级工程师面试阿里,阿里云,天猫,菜鸟,涉及到的知识点,文章有点长,但比较全面,阅读时间15分钟左右,干货满满。 一、HashMap的那些事 1.1、HashMap的实现原理 1.1.1、...

Java大蜗牛
38分钟前
2
0
nginx模块学习五 expires 浏览器缓存

缓存原理 语法 Syntax: expires [modified] time;expires epoch | max | off;Default: expires off;Context: http,server,location,if in location 例/etc/nginx/conf.d/default.con......

Romanceling
48分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部