文档章节

HDFS Namenode

Porco
 Porco
发布于 2015/02/16 17:50
字数 391
阅读 29
收藏 0

1.Namenode组成

    fsimage镜像文件包含了整个HDFS文件系统的所有目录和文件的indoe信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组等)等。

    edit文件主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到edit文件中。

2. 1.X的SecondaryNamenode

     

  • secondarynamenode通知namenode生成新的日志文件(edits.new),以后的日志都写到新的日志文件中。

  • secondarynamenode用http get从元数据节点获得fsimage文件及旧的日志文件(edits)。

  • secondarynamenode将fsimage文件加载到内存中,并执行日志文件(edits)中的操作,然后生成新的fsimage文件。

  • secondarynamenode将新的fsimage文件用http post传回namenode.

  • namenode可以将旧的fsimage文件及旧的日志文件(edits),换为新的fsimage文件和新的日志文件(第一步生成的)(edits.new -> edits),然后更新fstime文件,写入此次checkpoint的时间。

  • 这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息,日志文件也重新开始,不会变的很大了。 

通过上面的步骤能有效减少edits文件的大小从而减少每次启动执行merge的时间。


注:http://p-x1984.iteye.com/blog/860290


3.2.X的HA和merge(NFS和JQM)

NFS,shared NN EDITS LOG


© 著作权归作者所有

共有 人打赏支持
Porco
粉丝 3
博文 2
码字总数 1680
作品 0
广州
程序员
There appears to be a gap in the edit log. We expected txid 2289, but got txid 2859.

错误信息: 2016-09-20 11:48:52,409 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: There appears to be a gap......

今天来找bug
2016/09/23
428
0
hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop,发现50070页面无法访问,jps后发现namenode未启动,到hadoop的logs日志中查看发现报错 java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io.IOUt...

281824088
2017/02/22
0
0
HDFS Federation(HDFS 联盟)介绍

1. 当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block/storage management)。 1.1 命名空间管理 HD...

zqx1787
2014/12/13
0
0
HDFS文件读写流程讲解

一、HDFS体系结构 HDFS作为分布式文件系统,使用的是master/slave体系结构,角色有三种: NameNode:为HDFS提供元数据服务,NameNode可以控制所有文件的操作,它会把所有的文件元数据存储在文...

姚攀的博客 1.01^365=31.78
2017/12/12
0
0
HDFS Federation(HDFS 联盟)介绍

当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block/storage management)。 1.1 命名空间管理 HDFS...

蓝狐乐队
2014/04/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

RabbitMq异常处理

1.查找指定文件位置 find . -name "*erlang.cookie" 2.Rabbitmq异常 ===========根据提示,应该是Erlang的cookie出现问题 attempted to contact: ['rabbit@DESKTOP-RVK1IHE'] rabbit@DESKTO......

zhaochaochao
13分钟前
1
0
Java虚拟机学习笔记

jconsole的连接 JConsole的远程连接 JConsole远程连接配置(用VisualVM进行远程连接的配置和JConsole是一摸一样滴) JVM之jconsole远程连接配置...

OSC_fly
13分钟前
1
0
区块链教程以太坊源码分析downloader-peer源码分析

  兄弟连区块链教程以太坊源码分析downloader-peer源码分析,区块链行业正逐渐褪去发展之初的浮躁、回归理性,表面上看相关人才需求与身价似乎正在回落。但事实上,正是初期泡沫的渐退,让...

兄弟连区块链入门教程
15分钟前
1
0
ubuntu 自定义记录用户登录以及操作日志

root@ms:~# cd /etc#更改之前先备份,养成良好的习惯,否则肠子都要悔青了root@ms:/etc# cp profile profile.bakroot@ms:/etc# vi profile 在文章末尾加入下列shell脚本 history US...

Marhal
15分钟前
1
0
liunx 下使用rpm进行软件卸载

rpm -qa | grep php 列出所有的php相关的rpm包 rpm -e xxx 删除包

bengozhong
16分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部