文档章节

namenode如何存储复本?

牧师-Panda
 牧师-Panda
发布于 2016/11/30 11:52
字数 492
阅读 15
收藏 0

namenode如何选择在哪个datanode存储复本?这里需要对可靠性,写入带宽和读取带宽进行权衡。例如,把所有复本都存储在一个节点损失的写入带宽最小,因为复制管线都是在同一节点上运行,但这并不提供真实的冗余(如果节点发生故障,那么该块中的数据会丢失)。同时同一机架上服务器间的读取带宽是很高的。另一个极端,把复本放在不同的数据中心可以最大限度地提高冗余,但带宽的损耗非常大,即使在同一数据中心,也有许多不同的数据布局策略。

 

Hadoop的默认布局策略是在运行客户端的节点上放第1个复本,如果客户端运行在集群之外就随机选择一个节点,不过系统会避免挑选那些存储太满或太忙的节点。第2个复本放在与第一个不同且随机另外选择的机架中节点上(离架)。第3个复本与第2个复本放在同一机架上,且随机选择另外一个节点。其他复本放在集群中随机选择的节点上,不过系统会尽量避免在同一个机架上放太多的复本。

 

一旦选定复本的放置位置,就根据网络拓扑创建一个管线,如果复本为3,则有如图的管线。

总的来说,这一方法不仅提供很好的稳定性(数据块存储在两个机架中)并且实现很好的附在均衡,包括写入带宽(写入操作只需要遍历一个交换机),读取性能(可以从两个机架中选择读取)和集群中块的均匀分布(客户端只在本地机架上写入一个块)。

 

 

© 著作权归作者所有

上一篇: 聊聊Hive
牧师-Panda
粉丝 33
博文 146
码字总数 180044
作品 0
浦东
私信 提问
Hadoop - HDFS的数据流剖析

剖析文件的读取 为了了解客户端及与之交互的HDFS、namenode 和 datanode之间的数据流是什么样的,我们可以参考下图,该图显示了在读取文件时事件的发生顺序。 客户端通过调用FileSystem对象的...

yangji008
2016/11/16
0
0
Hadoop文件写入详细剖析(22)

客户端通过对DistibutedFileSystem对象调用create()函数来创建文件(步骤1).DistributedFileSystem对namenode创建一个RPC调用,在文件系统的命名空间中创建一个新文件,此时该文件中还没有相应...

肖鋭
2014/03/09
87
0
HDFS的文件读取与写入流程

文件读取流程 1) 客户端首先要调用FileSystem对象的静态方法open()方法来打开一个希望读取文件的路径,在HDFS中文件的对象为Path对象(与Java中的File相对应)。 2) FileSystem对象就是一个Dis...

zhao_xiao_long
2013/09/03
0
0
Hadoop文件读取详细剖析(21)

客户端通过调用FileSystem对象的open()方法来打开希望读取的文件,对于HDFS来说,这个对象是分布式系统(步骤1)的一个实例。DistributedFileSystem通过使用RPC来调用namenode,以确定文件起始...

肖鋭
2014/03/08
136
0
(第3篇)HDFS是什么?HDFS适合做什么?我们应该怎样操作HDFS系统?

HDFS文件系统 Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统,专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务。 本章内容: 1) HDFS文件系统的特点,以...

I加加
2017/03/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Activity启动模式二

上篇文章Activity启动模式一主要介绍了Activity的四种启动模式,这些启动模式都是在AndroidManifest中进行配置的。除此之外,Android系统还通过Intent类提供了一些标志位,同样可以指定Activ...

ltlovezh
15分钟前
4
0
三原色还原

1、Color Filter Array — CFA 随着数码相机、手机的普及,CCD/CMOS 图像传感器近年来得到广泛的关注和应用。 图像传感器一般都采用一定的模式来采集图像数据,常用的有 BGR 模式和 CFA 模式...

天王盖地虎626
26分钟前
3
0
kubernetes pod exec接口调用

正文 一般生产环境上由于网络安全策略,大多数端口是不能为集群外部访问的。多个集群之间一般都是通过k8s的ApiServer组件提供的接口通信,如https://192.168.1.101:6443。所以在做云平台时,...

码农实战
今天
8
0
3_数组

3_数组

行者终成事
今天
8
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部