文档章节

HDFS详解

A__17
 A__17
发布于 2017/08/09 01:09
字数 817
阅读 10
收藏 0

结构:一个HDFS集群是由一个NameNode、一个Secondary NameNode和若干个DataNode组成。

1)NameNode:

	概念:NameNode是HDFS主从结构中主角色的扮演者,它维护着整个文件系统的目录树,维护信息(即HDFS的元数据)存储在本地的fsimage文件和edits文件中。
	
		fsimage:文件系统镜像文件,内存中的HDFS元数据序列化到磁盘上的文件,即HDFS元数据的快照,NameNode启动的时候,默认会加载最新的fsimage。
		edits:	fsimage的编辑日志。
		fstime:最近一次checkpoint的时间。
		
	特点:
		1)NameNode始终在内存中保存metadata,用于处理“读”请求。
		2)NameNode收到“写”请求后,会首先向edits文件中添加日志,成功添加日志后,才会去修改内存中的元数据,并且向客户端返回。

2)Secondary NameNode:

	概念:用于定期合并文件系统镜像和它的编辑日志。
	
	说明:NameNode将改动的内容写到edits中,Secondary NameNode将定期地合并fsimage和edits。
	
	执行过程:
		1)通知NameNode切换edits文件。
		2)从NameNode上下载fsimage文件和edits文件。
		3)把二者合并(先将fsimage加载到内存,然后合并edits),生成新的fsimage文件,并保存在本地。
		4)将新生成的fsimage文件推送给NameNode,NameNode会用最新的fsimage文件替换掉旧的fsimage文件
		
	默认触发合并的时机:每小时合并一次 或 edits文件达到64MB时进行合并

3)DataNode:

	概念:DataNode是HDFS主从结构中从角色的扮演者,它在本地文件系统存储文件块数据,并在NameNode的调度下进行数据块的创建、删除和复制工作。

特点:

1)适合存储超大文件。
2)运行于廉价的硬件之上。
3)流式数据访问:HDFS认为,一次写入,多次读取是最高效的访问模式。

短板:

1)实时的数据访问弱:由于HDFS针对高数据吞吐量做了优化,故牺牲了读取数据的速度,对于响应时间是秒或毫秒的数据访问,可以使用HBase。
2)会占用大量内存:当hadoop启动时,NameNode会将所有的元数据读到内存中,以此来构建目录树。
3)HDFS中的文件只能有一个写入者,并且只能在文件末尾添加数据。

相关概念:

1)文件块:
	1>说明:HDFS中的文件块默认大小:hadoop1.0为64MB;hadoop2.0为128MB,可以通过hdfs-site.xml文件的dfs.block.size属性配置。	
	2>优点:
		1)可以储存比磁盘大的文件:通过把文件分成若干分片实现。
		2)实现了元数据和数据的分开储存和管理。
		3)容错性高。
	3>文件块放置的策略:
		一个文件块默认会有3份备份,一份放在NameNode指定的DataNode上,另一份放在与指定的DataNode不在同一台机器上的DataNode上,最后一份放在与指定的DataNode在同一机架(Rack)上的DataNode上。
		优点:解决了同一机架中失败的情况以及不同机架之间的数据拷贝会带来的性能问题。

© 著作权归作者所有

共有 人打赏支持
A__17
粉丝 2
博文 100
码字总数 117418
作品 0
朝阳

暂无文章

下单接口调优实战,性能提高10倍

概述 最近公司的下单接口有些慢,老板担心无法支撑双11,想让我优化一把,但是前提是不允许大改,因为下单接口太复杂了,如果改动太大,怕有风险。另外开发成本和测试成本也非常大。对于这种...

Sam哥哥聊技术
33分钟前
2
1
rabbitMQ的安装和配置

在Windows下进行rabbitMQ的安装 第一步:软件下载 在安装rabbitMQ之前,需要先安装Erlang。 Erlang官网:http://www.erlang.org/downloads rabbitMQ官网:http://www.rabbitmq.com/download....

狼王黄师傅
53分钟前
3
0
SAP产品的Field Extensibility

SAP开发人员的工作职责,除了实现软件的功能性需求外,还会花费相当的精力实现一些非功能性需求,来满足所谓的SAP Product Standard(产品标准)。这些产品标准,包含在SAP项目实施中大显身手...

JerryWang_SAP
58分钟前
2
0
Vue-Element-Upload

记录一下文件上传封装Js 代码示例 封装:uploadFile.vue <template> <el-upload v-model="attachment" ref="upload" class="upload-demo" :action="uploadUrl" ......

华山猛男
今天
4
0
AWVS破解及使用手册

1.安装 因为是windows软件,比较简单,此部分略: 破解插件下载: 链接: https://pan.baidu.com/s/1x9LK9F3KvqDgTvXDjoSZnQ 提取码: 7k4u 2.创建扫描目标 2-1.Targets->Add Target 2-2.对话框...

硅谷课堂
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部