文档章节

hdfs 原理

西二旗之猫
 西二旗之猫
发布于 2017/03/28 17:59
字数 1512
阅读 25
收藏 0

概述:

     Hadoop Distributed File System(HDFS):是一个高吞吐量的分布式文件系统.是分布式计算的基础

基本概念:

NameNode (元数据节点):存储元数据信息,包括 fsimage(命名空间镜像映像),edits_log(操作日志),NameNode支持主备HA,

       NameNode会在内存维护命名空间,并且在磁盘上生成 命名空间映射文件fsimage和日志操作文件 edits_log,命名空间存储了数据块(block)和DataNode的对应关系

        我们可以查看 NameNode在磁盘上生成的文件 

          

                    (这些文件的路径是  hdfs 配置文件的 NameNode 的工作目录 )

Secondary NameNode(辅助元数据节点):并不是NameNode的备份,而是 NameNode的辅助节点,负责合并 "命名空间镜像映射文件"和"日志操作"文件,然后生成新的 "命名空间镜像"发送给NameNode 

      辅助元数据节点周期性的合并文件,可以防止"日志文件"过大,合并后的命名空间镜像 会在辅助namenode 节点保存一份,在元数据库节点失败的时候可以恢复

DataNode(数据节点):负责存储数据块(block),周期性的向元数据节点汇报数据块信息

block(数据块):文件会被切分成多个数据块block进行存储,block默认是64MB,每个block会在多个DataNode节点上存储备份,默认是3份,可以通过配置设置备份个数

整体架构图

Secondary NameNode 的工作原理

        当 一个 client 进行 写操作的时候 首先会它会记录在 edit log中,之后 namenode会修改 内存总的"命名空间", fsimage 文件 是 "命名空间映像文件",它是内存中的元数据 ,"命名空间"会被定时的checkpoint(检查点),最后会在硬盘上生成 fsimage文件,fsimage文件是一种序列化格式不能直接修改

       如果元数据节点失败那么会把checkpoint(检查点)的元数据信息fsimage 加载到内存中

       辅助元数据节点(secondary NameNode)是帮助 元数据节点(NameNode)将 内存中的 元数据信息 checkpoint到 硬盘上 ,操作比较费时 所有让从 元数据节点来做

       checkpoint 具体操作

  1. 辅助元数据节点(secondary NameNode)通知 元数据节点(NameNode)生成 新的 日志文件,并且以后的日志都写入到新的日志文件中
  2. 辅助元数据节点(secondary NameNode)http协议从元数据节点(NameNode)获取 fsimage文件和旧的日志文件
  3. 辅助元数据节点(secondary NameNode)合并 fsimage和日志文件 生成新的fsimage文件
  4. 辅助元数据节点(secondary NameNode)将新的fsimage文件传回 元数据节点(NameNode)
  5. 元数据节点(NameNode) 将旧的fsimage替换成新的,日志文件也替换成新的(在第一步时生成的)

读取文件过程:

  1. 客户端(client)用FileSystem的open()函数打开文件
  2. DistributedFileSystem用RPC调用元数据节点,得到文件的数据块信息。
  3. 对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。
  4. DistributedFileSystem返回FSDataInputStream给客户端,用来读取数据。
  5. 客户端调用stream的read()函数开始读取数据。
  6. DFSInputStream连接保存此文件第一个数据块的最近的数据节点。
  7. Data从数据节点读到客户端(client)
  8. 当此数据块读取完毕时,DFSInputStream关闭和此数据节点的连接,然后连接此文件下一个数据块的最近的数据节点。
  9. 当客户端读取完毕数据的时候,调用FSDataInputStream的close函数。
  10. 在读取数据的过程中,如果客户端在与数据节点通信出现错误,则尝试连接包含此数据块的下一个数据节点。
  11. 失败的数据节点将被记录,以后不再连接。

写入文件

  1. 客户端调用create()来创建文件
  2. DistributedFileSystem用RPC调用元数据节点,在文件系统的命名空间中创建一个新的文件。
  3. 元数据节点首先确定文件原来不存在,并且客户端有创建文件的权限,然后创建新文件。
  4. DistributedFileSystem返回DFSOutputStream,客户端用于写数据。
  5. 客户端开始写入数据,DFSOutputStream将数据分成块,写入data queue(数据队列)。
  6. Data queue由Data Streamer读取,并通知元数据节点分配数据节点,用来存储数据块(每块默认复制3块)。分配的数据节点放在一个pipeline里。
  7. Data Streamer将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第三个数据节点。
  8. DFSOutputStream为发出去的数据块保存了ack queue,等待pipeline中的数据节点告知数据已经写入成功。

如果数据节点在写入的过程中失败:

  1. 关闭pipeline,将ack queue中的数据块放入data queue的开始。
  2. 当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示,则错误节点重启后能够察觉其数据块是过时的,会被删除。
  3. 失败的数据节点从pipeline中移除,另外的数据块则写入pipeline中的另外两个数据节点。
  4. 元数据节点则被通知此数据块是复制块数不足,将来会再创建第三份备份。

当客户端结束写入数据,则调用stream的close函数。此操作将所有的数据块写入pipeline中的数据节点,并等待ack queue返回成功。最后通知元数据节点写入完毕。

 

© 著作权归作者所有

西二旗之猫
粉丝 7
博文 54
码字总数 39074
作品 0
私信 提问
面试问题

358、你们的集群规模? 开发集群:10台(8台可用)8核cpu 359、你们的数据是用什么导入到数据库的?导入到什么数据库? 处理之前的导入:通过hadoop命令导入到hdfs文件系统 处理完成之后的导...

HIVE
2016/07/05
1K
2
【hadoop】7.HDFS-简介

简介 通过本教程您可以学习到: HDFS概念 HDFS的组成 HDFS文件块大小 1、HDFS概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实...

Areya
01/12
8
0
hadoop-hdfs文件系统的安装与部署

根据HDFS文件系统的架构原理,集群中是主从关系。一个主节点master 存储所有节点的命名空间,其他的从节点保存数据结点,详细的架构原理这里都不多介绍了,主要介绍一下HDFS文件系统的实际安...

胡子叭槎
2017/05/19
71
0
大数据教程(7.1)客户端向HDFS写数据流程分析

上一章为大家分享了hadoop入门的基础知识,本章博主将带领大家一起升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。 一、本节目的 HDFS工作机制的学习主要是为了加深大家对...

em_aaron
2018/11/07
24
0
Hadoop基础之HA(高可用)

1.Hadoop2.0产生背景 早期的hadoop版本,NN(namenode)是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法 使用。为了解决这个问题,出现了一堆针对HDF...

landy8530
2017/11/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
5
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
8
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部