文档章节

HDFS设计基础与目标

三平行者
 三平行者
发布于 2015/03/10 17:29
字数 548
阅读 118
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

设计基础:

(1)由于硬件错误是常态。因此需要冗余。

(2)流式数据访问,即数据批量读取,而非随机读取。hadoop擅长做的是数据分析而不是事务处理。

(3)大规模数据集

(4)简单一致性模型。为了降低系统复杂度,对文件采取一次性写多次读的逻辑设计,即是文件一经写入,关闭后,就再也不能修改。

(5)程序采用“数据就近”原则分配节点执行。

 

体系结构:

hdfs采用主从结构,Namenode属于主端,Datanode属于从端。

Namenode:

    1) 管理文件系统的命名空间。

    2) 记录每个文件数据块在Datanode上的位置和副本信息。

    3) 协调客户端对文件的访问。

    4) 记录命名空间内的改动或者空间本身属性的改动。

    5) Namenode使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间,包括文件映射、文件属性等。

从社会学的角度看,Namenode是HDFS的管理者,发挥管理、协调、操控的作用。

 

 Datanode:

    1) 负责所在物理节点的存储管理。

    2) 一次写入,多次读取,不能修改。

    3) 文件由数据库组成,一般情况下,数据块的大小为64MB。

    4) 数据尽量散布到各个节点。

     从社会学的角度看,Datanode是HDFS的工作者,发挥着按照Namenode的命令干活,并且把干活的进展和问题反馈到Namenode的作用。

 

SecondaryNameNode:

    1) HA的一个解决方案。但不支持热备。配置即可。

    2) 执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,同时重置NameNode的edits.

    3) 默认在安装在NameNode节点上,但这样...不安全!

 

可靠性:

(1)冗余副本策略

(2)机架策略

(3)心跳机制

(4)安全模式

(5)校验和

(6)回收站

(7)元数据保护

(8)快照机制

© 著作权归作者所有

三平行者
粉丝 3
博文 32
码字总数 14655
作品 0
海淀
项目经理
私信 提问
加载中

评论(0)

饿了么技术沙龙北京-架构专场

饿了么技术沙龙北京研发中心·架构专场【第二弹】 阿饿君回来了,福利再次登陆北京! 本次饿了么技术沙龙北京研发中心·架构专场邀请了58、头条、当当以及饿厂的主厨在等你,总有一盘会是你的...

eletech
2017/03/13
48
0
业务增长400%,Uber如何快准稳扩容HDFS集群?

作者 | Ang Zhang , Wei Yan 编译 | 李瑞丰 编辑 | Emily Chen 三年前,Uber 采用 Hadoop 作为大数据分析系统中海量存储(HDFS)和并行计算(YARN)的底层架构方案。随着业务的发展,Uber ...

AI前线
2018/05/01
0
0
Hadoop组件----HDFS架构及原理

学习博客:https://blog.csdn.net/kezhong_wxl/article/details/76573901 官方文档:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 一、介绍 DFS(......

osc_nnd0q3n4
2018/08/03
2
0
深入浅出Hadoop: 高效处理大数据

Hadoop与Google一样,都是小孩命名的,是一个虚构的名字,没有特别的含义。从计算机专业的角度看,Hadoop是一个分布式系统基础架构,由Apache基金会开发。Hadoop的主要目标是对分布式环境下的...

bengozhong
2016/02/26
129
0
饿了么技术沙龙北京-架构专场

饿了么技术沙龙北京研发中心·架构专场【第二弹】 阿饿君回来了,福利再次登陆北京! 本次饿了么技术沙龙北京研发中心·架构专场邀请了58、头条、当当以及饿厂的主厨在等你,总有一盘会是你的...

eletech
2017/03/13
86
0

没有更多内容

加载失败,请刷新页面

加载更多

如何制作出色的R可重现示例 - How to make a great R reproducible example

问题: This post is a Community Wiki . 这篇文章是社区维基 。 Edit existing answers to improve this post. 编辑现有答案以改善此职位。 It is not currently accepting new answers. 它......

技术盛宴
21分钟前
24
0
windows下修改默认mysql编码

查看编码格式: 进入mysql执行下面语句 show variables like '%character%'; 修改编码格式: set character_set_client=utf8;set character_set_connection=utf8;set character_set_da......

珞木橘子
26分钟前
21
0
ArrayList与LinkList性能对比----新增元素

在聊到 ArrayList 和 LinkList 的时候都会这么说 ArrayList 底层是基于数组实现的内存地址物理上是连续的,新增,删除效率低,查询效率高 LinkList 是基于链表实现的,逻辑地址是连续的内存地...

Lbj虞
47分钟前
34
0
Nginx

想了解nginx的代理可以先看这篇: https://baijiahao.baiducom/s?id=1652608869911988442&wfr=spider&for=pc nginx常用命令 nginx -t ##检查配置文件,一般修改完配置文件都建议一定先执行这...

UItraman
昨天
24
0
新基建的福音:智慧楼宇可视化监控系统引领智能化新时代

前言 智慧楼宇和人们的生活息息相关,楼宇智能化程度的提高,会极大程度的改善人们的生活品质,在当前工业互联网大背景下受到很大关注。目前智慧楼宇可视化监控的主要优点包括: 智慧化 -- 智...

xhload3d
昨天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部