文档章节

大数据教程(7.3)namenode管理元数据的机制&datanode工作机制介绍

em_aaron
 em_aaron
发布于 2018/11/11 20:00
字数 2532
阅读 44
收藏 1

               前面两篇博客介绍了HDFS客户端读写数据流程,本篇博主将带给小伙伴们namenode和datanode的工作机制的分享。

        一、目标

               理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力。

               问题场景:

               1、集群启动后,可以查看文件,但是上传文件时报错,打开web页面可以看到namenode正处于safemode状态,怎么处理?

               2、Namenode服务器的磁盘故障导致namenode宕机,如何挽救集群及数据?

               3、Namenode是否可以有多个?namenode内存要配置多大?namenode跟集群数据存储能力有关系吗?

               4、文件的blocksize究竟调大好还是调小好?

               ....

               诸如此类问题的回答,都需要基于对namenode自身的工作原理的深刻理解

        二、namenode的职责

              负责HDFS客户端请求的响应,元数据的管理(查询,修改)

        三、namenode元数据管理

             namenode对数据的管理采用了三种存储形式:内存元数据(NameSystem)、磁盘元数据镜像文件、数据操作日志文件(可通过日志运算出元数据)

             1.元数据存储机制:

                A、内存中有一份完整的元数据(内存meta data)
                B、磁盘有一个“准完整”的元数据镜像(fsimage)文件(在namenode的工作目录中)
                C、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志(edits文件)

                注:当客户端对hdfs中的文件进行新增或者修改操作,操作记录首先被记入edits日志文件中,当客户端操作成功后,相应的元数据会更新到内存meta.data中。

             2.元数据手动查看

                可以通过hdfs的一个工具来查看edits中的信息
                bin/hdfs oev -i edits -o edits.xml
                bin/hdfs oiv -i fsimage_0000000000000000087 -p XML -o fsimage.xml

             3.元数据的checkpoint

               每隔一段时间,会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地,并加载到内存进行merge(这个过程称为checkpoint)

               checkpoint的详细过程:

               checkpoint操作的触发条件配置参数:

dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率,60秒
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
#以上两个参数做checkpoint操作时,secondary namenode的本地工作目录
dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}

dfs.namenode.checkpoint.max-retries=3  #最大重试次数
dfs.namenode.checkpoint.period=3600  #两次checkpoint之间的时间间隔3600秒
dfs.namenode.checkpoint.txns=1000000 #两次checkpoint之间最大的操作记录

               checkpoint的附带作用:namenode和secondary namenode的工作目录存储结构完全相同,所以,当namenode故障退出需要重新恢复时,可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录,以恢复namenode的元数据,secondNameNode无法替代namenode,它只做数据合并、备份。

            4.元数据目录说明

               在第一次部署好Hadoop集群的时候,我们需要在NameNode(NN)节点上格式化磁盘:

#执行格式化,如果已经配置了hadoop环境则不需要带全路径执行
$HADOOP_HOME/bin/hdfs namenode -format

              格式化完成之后,将会在$dfs.namenode.name.dir/current目录下如下的文件结构

current/
|-- VERSION
|-- edits_*
|-- fsimage_0000000000008547077
|-- fsimage_0000000000008547077.md5
`-- seen_txid

              其中的dfs.name.dir是在hdfs-site.xml文件中配置的,默认值如下:

<property>
  <name>dfs.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>

hadoop.tmp.dir是在core-site.xml中配置的,默认值如下
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
  <description>A base for other temporary directories.</description>
</property>

              dfs.namenode.name.dir属性可以配置多个目录,如/data1/dfs/name,/data2/dfs/name,/data3/dfs/name,....。各个目录存储的文件结构和内容都完全一样,相当于备份,这样做的好处是当其中一个目录损坏了,也不会影响到Hadoop的元数据,特别是当其中一个目录是NFS(网络文件系统Network File System,NFS)之上,即使你这台机器损坏了,元数据也得到保存。
               下面对$dfs.namenode.name.dir/current/目录下的文件进行解释:

               (1)、VERSION文件是Java属性文件,内容大致如下:

#Fri Nov 15 19:47:46 CST 2013
namespaceID=934548976
clusterID=CID-cdff7d73-93cd-4783-9399-0a22e6dce196
cTime=0
storageType=NAME_NODE
blockpoolID=BP-893790215-192.168.24.72-1383809616115
layoutVersion=-47

                   (a)、namespaceID是文件系统的唯一标识符,在文件系统首次格式化之后生成的
                   (b)、storageType说明这个文件存储的是什么进程的数据结构信息(如果是DataNode,storageType=DATA_NODE)
                   (c)、cTime表示NameNode存储时间的创建时间,由于我的NameNode没有更新过,所以这里的记录值为0,以后对NameNode升级之后,cTime将会记录更新时间戳
                   (d)、layoutVersion表示HDFS永久性数据结构的版本信息, 只要数据结构变更,版本号也要递减,此时的HDFS也需要升级,否则磁盘仍旧是使用旧版本的数据结构,这会导致新版本的NameNode无法使用

                   (e)、clusterID是系统生成或手动指定的集群ID,在-clusterid选项中可以使用它,如下说明

a、使用如下命令格式化一个Namenode:$HADOOP_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]选择一个唯一的cluster_id,并且这个cluster_id不能与环境中其他集群有冲突。如果没有提供cluster_id,则会自动生成一个唯一的ClusterID。
b、使用如下命令格式化其他Namenode:$HADOOP_HOME/bin/hdfs namenode -format -clusterId <cluster_id>
c、升级集群至最新版本。在升级过程中需要提供一个ClusterID,例如:$HADOOP_PREFIX_HOME/bin/hdfs start namenode --config $HADOOP_CONF_DIR  -upgrade -clusterId <cluster_ID>如果没有提供ClusterID,则会自动生成一个ClusterID。

                   (f)、blockpoolID:是针对每一个Namespace所对应的blockpool的ID,上面的这个BP-893790215-192.168.24.72-1383809616115就是在我的ns1的namespace下的存储块池的ID,这个ID包括了其对应的NameNode节点的ip地址。

                 2、$dfs.namenode.name.dir/current/seen_txid非常重要,是存放transactionId的文件,format之后是0,它代表的是namenode里面的edits_*文件的尾数,namenode重启的时候,会按照seen_txid的数字,循序从头跑edits_0000001~到seen_txid的数字。所以当你的hdfs发生异常重启的时候,一定要比对seen_txid内的数字是不是你edits最后的尾数,不然会发生建置namenode时metaData的资料有缺少,导致误删Datanode上多余Block的资讯。
                 3、$dfs.namenode.name.dir/current目录下在format的同时也会生成fsimage和edits文件,及其对应的md5校验文件。

                 补充:seen_txid文件中记录的是edits滚动的序号,每次重启namenode时,namenode就知道要将哪些edits进行加载edits

        四、datanode的工作机制

               问题场景:
                    1、集群容量不够,怎么扩容?
                    2、如果有一些datanode宕机,该怎么办?
                    3、datanode明明已启动,但是集群中的可用datanode列表中就是没有,怎么办?

               以上这类问题的解答,有赖于对datanode工作机制的深刻理解

            1、Datanode工作职责:存储管理用户的文件块数据、定期向namenode汇报自身所持有的block信息(通过心跳信息上报)(这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题)

<!--配置上报时间间隔3600s-->
<property>
	<name>dfs.blockreport.intervalMsec</name>
	<value>3600000</value>
	<description>Determines block reporting interval in milliseconds.</description>
</property>

            2、Datanode掉线判断时限参数
                 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:

timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。

而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。

<property>
    <name>heartbeat.recheck.interval</name>
    <value>2000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>1</value>
</property>

           3、观察验证datanode功能

                上传一个文件,观察文件的block具体的物理存放情况:在每一台datanode机器上的这个目录中能找到文件的切块:

/home/hadoop/app/hadoop-2.4.1/tmp/dfs/data/current/BP-193442119-192.168.2.120-1432457733977/current/finalized

           4、datanode同样可以配置多个目录,不过它不会在同一个datanode存多份相同的数据,而是将几个目录看成是统一的工作空间,相当于扩容

        五、最后总结:

               本节难点主要在于对namenode和secodarynamenode工作机制的理解,它们的数据合并其实并不新奇;如果你了解开源数据库mysql和nosql缓存数据库redis,那应该知道mysql的日志记录机制也是记录的sql操作命令,且每次启动mysql,bin日志就会滚动出来一个新的,而从库配置的是上一次启动时最后的那个pos,所以直接读取新的就可以咯;redis的aof数据操作记录,同样是采取相同的方式,过一段时间、或者操作的数据达到多少量时就把数据合并到rdb文件去以此来实现高可靠、可恢复。

        最后寄语,以上是博主本次文章的全部内容,如果大家觉得博主的文章还不错,请点赞;如果您对博主其它服务器大数据技术或者博主本人感兴趣,请关注博主博客,并且欢迎随时跟博主沟通交流。

© 著作权归作者所有

em_aaron
粉丝 85
博文 133
码字总数 223239
作品 3
黄浦
高级程序员
私信 提问
大数据教程(7.1)客户端向HDFS写数据流程分析

上一章为大家分享了hadoop入门的基础知识,本章博主将带领大家一起升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。 一、本节目的 HDFS工作机制的学习主要是为了加深大家对...

em_aaron
2018/11/07
30
0
HDFS的工作流程分析

作者: Bryanzhou HDFS的工作机制概述 HDFS集群分为两大角色:NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小(blocksi...

xiaogong1688
2017/08/02
0
0
Hadoop入门(二) 深入了解Hadoop中NameNode和DataNode的工作机制

数据量越来越多,在一台PC的范围存不下了,那么就分配到更多的PC中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。分布式文件管理系统很多...

wangxueqing52
2018/04/09
0
0
HDFS原理分析(二)—— HA机制 avatarnode原理

一、问题描述 由于namenode 是HDFS的大脑,而这个大脑又是单点,如果大脑出现故障,则整个分布式存储系统就瘫痪了。HA(High Available)机制就是用来解决这样一个问题的。碰到这么个问题,首...

shiw019
2012/12/03
6K
3
好程序员大数据独家解析-hadoop五大节点

1.NameNode(管理节点) Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata),元数据包括编辑日志(edits)和镜像文件。管理这...

好程序员IT
05/16
2
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
6
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
10
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
5
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
7
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
7
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部