hadoop-3.2.0------>入门十七hadoop之HDFS

原创
04/22 11:42
阅读数 61

产生背景及定义

        1、产生背景:

                        随着数据量越来越大,在一个操作系统存不下所有的数据,那么分配到更多的操作系统管理磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

        2、定义:

                       HDFS是一个文件系统,用于存储文件,通过目录树来定位文件;其次,他是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的功能。

                        HDFS适合一次写入,多次读出的场景,不支持文件修改。适合做数据分析不适合做网盘应用。 

优点

        1、高容错性

                    1、数据自动保存多个副本,他通过增加副本形式,提高高容错性

                    2、某一个副本丢失之后,他可以自动恢复

        2、适合处理大数据

                    1、数据规模:能够处理数据规模达到GB、TB甚至PB级别的数据

                     2、文件规模:能够处理百万规模以上的文件数量

        3、可以构建在廉价的服务器上,通过多副本机制,提高可靠性。

缺点

        1、不适合低延迟数据访问,比如毫秒级存储数据

        2、无法高效的对大量小文件进行存储

                        1、存储大量小文件的话,他会占用NameNode大量的内存存储文件目录和块信息。这样是不可取的,因为NameNode内存是有限的

                        2、小文件存储的寻址时间会超过读取时间,违反了HDFS设计目标

        3、不支持并发写入、文件随机修改

                        1、一个文件只能由一个线程写入,不允许多个线程同时操作

                        2、仅支持数据追加,不支持文件随机修改

组织架构

                                            

        1、NameNode:就是master,他是一个主管、管理者

                    1、管理HDFS的名称空间

                    2、配置副本策略

                    3、管理数据块映射信息

                    4、处理客户端读写请求

        2、DataNode:就是slave。NameNode下达指令,DataNode执行实际操作

                    1、存储实际的数据块

                    2、执行数据块的读写操作

        3、Client:就是客户端

                    1、文件切分。文件上传HDFS时候,Client将文件切分成一个一个的block,然后进行上传。

                    2、与NameNode交互,获取文件的位置信息

                    3、与DataNode交互,读取或者写入一些数据

                    4、Client提供一些命令来管理HDFS。比如NameNode格式化

                    5、Client可以通过一些命令来访问HDFS,比如对HDFS的一些增删改查操作    

        4、Secondary NameNode:并非NameNode的热备,当NameNode挂掉之后,他不会立刻替换掉NameNode提供服务

                    1、辅助NameNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode

                    2、紧急情况下可辅助恢复NameNode

HDFS文件块大小

        HDFS中的文件物理上是分割存储(block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小为128MB,在hadoop1.X的版本中默认大小64MB。

                    1、如果寻址时间为10ms,即查找到目标块的时间为10ms

                    2、寻址时间为传输时间的1%时,为最佳状态,因此传输时间=10ms/1%=1000ms=1s

                    3、目前磁盘的传输速率普遍为100MB/s

HDFS块大小的设置主要取决于磁盘传输速率

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部