文档章节

HDFS架构--Hadoop技术内幕读书笔记

fmz
 fmz
发布于 2014/04/01 20:53
字数 367
阅读 211
收藏 1

HDFS的架构如上图,总体采用master/slave架构,主要有Client、NameNode、DataNode、SecondaryNameNode组成。

1、Client

Client代表用户,通过与NameNode和DataNode交互从而访问HDFS中的文件。Client提供了一个类似POSIX的文件系统接口供用户调用。

2、NameNode

整个Hadoop集群中只有一个NameNode。负责管理HDFS的目录树和相关文件的元数据信息。

NameNode还负责监控各个DataNode的健康状态,一旦发现某个DataNode宕机,则将该DataNode移出HDFS并重新备份其上面的数据。

3、Secondary NameNode

Secondary NameNode最重要的任务不是为NameNode元数据进行热备份,而是定期合并fsimage和edits日志,并传输给NameNode。这里需要注意的是,为了减小NameNode压力,NameNode自己并不会合并fsimage和edits,并将文件存储到磁盘上,而是交友Secondary Namenode完成。

4、DataNode

每个Slave节点上安装一个DataNode,它负责实际的数据存储,并将数据信息定期的汇报给NameNode。

当用户上传一个文件到HDFS上时,该文件会被切分成若干个block,分别存储到不同的DataNode.。为了保证数据可靠,会将同一个block以流水线的方式写到若干个不同的DataNode。


© 著作权归作者所有

fmz

fmz

粉丝 22
博文 3
码字总数 1706
作品 0
美国
程序员
私信 提问
Java程序员读书推荐(排名不分先后)

计算机程序设计艺术(卷一:基本算法;卷二:半数值算法;卷三:排序与查找) 2. coder面试逻辑题解析 3. Hadoop技术内幕:深入解析MapReduce架构设计与实现原理 4. JavaScript权威指南 5. J...

pricker
2016/01/28
163
0
2016年度读书单

2016年01月01日 《HBase 管理指南》 2016年01月04日 《Hadoop技术详解》 2016年02月28日 《hive编程指南》 2016年03月13日 《Java并发编程》 2016年05月02日 《大型分布式网站架构设计与实践...

Ryan-瑞恩
2015/12/31
123
0
Hadoop Mapreduce架构--Hadoop技术内幕读书笔记

1、Client 用户编写的MapReduce程序通过Client提交到JobTracker端;同时,用户可通过Client提供的一些接口查看作业运行状态。在Hadoop内部用“作业”Job表示MapReduce程序。一个MapReduce程序...

fmz
2014/04/01
361
0
Hadoop实战读书笔记(5)

HDFS文件操作 你可以把一个大数据集(100TB)在HDFS中存储为单个文件,而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理,你也不必考虑这些细节...

祥林会跟你远走高飞
2014/12/08
95
0
Cloudera大数据培训!!

Cloudera Apache Hadoop管理员际同步2016最新鲜的课程 Cloudera Apache Hadoop管理员国际同步最新鲜的课程(6月13-16日)北京站将要开班,有需要学习的同学抓紧时间报名,越早报名优惠越多!...

一只树懒
2016/05/31
1
0

没有更多内容

加载失败,请刷新页面

加载更多

如何获取当前正在执行的文件的路径和名称?

我有调用其他脚本文件的脚本,但是我需要获取进程中当前正在运行的文件的文件路径。 例如,假设我有三个文件。 使用execfile : script_1.py调用script_2.py 。 反过来, script_2.py调用scr...

技术盛宴
23分钟前
22
0
CSS字体边框?

随着所有新的CSS3边框填充( -webkit ,...),现在是否可以为字体添加边框? (就像蓝色的Twitter徽标周围的纯白色边框一样)。 如果不是,是否有任何不太丑陋的骇客会在CSS / XHTML中完成此...

javail
38分钟前
48
0
Hive安装

下载上传apache-hive-2.1.1-bin.tar.gz文件并解压 tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /export/servers 配置环境变量 vi /etc/profileexport HIVE_HOME=/export/servers/apache......

长臂猿猴
今天
55
0
Fedora 31 - 荣耀魔法本问题记录

最近荣耀魔法本装了Fedora31系统,没有像Deepin 15.11那样出现亮度不能调节和网卡不能用的问题。但是也有不少小问题: 触摸板有时启动后失效,需要重启。 触摸板的右键失效。 待机后进入桌面...

wffger
今天
46
0
ElasticSearch深入:内部机制浅析(三)@

前言 上篇从分布式的角度阐述了 ES 的分布式设计和思想,这一篇打算与 Lucene 结合起来,摸透一些 ES 的常遇到的概念,我们可以将了解到的这些东西应用到优化实践中去。 一、Shard Shard 实际...

HLee
今天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部