文档章节

HDFS操作

一个能打的都没有
 一个能打的都没有
发布于 2014/08/06 22:56
字数 623
阅读 45
收藏 0

①必须要知道的

盗来的图:HDFS架构体系

1、Client

在咱们这就是Linux命令或者Java代码。

2、NameNode

整个HDFS集群只有一个NameNode,它存储整个集群文件分别的元数据信息。这些信息以fsimage和editlog两个文件存储在本地磁 盘,Client通过这些元数据信息可以找到相应的文件。此外,NameNode还负责监控DataNode的健康情况,一旦发现DataNode异常, 就将其踢出,并拷贝其上数据至其它DataNode。虽然Client是与NameNode通信,但是最终操作文件还是连接Datenode

3、Secondary NameNode

Secondary NameNode负责定期合并NameNode的fsimage和editlog。这里特别注意,它不是NameNode的热备,所以NameNode依 然是Single Point of Failure。它存在的主要目的是为了分担一部分NameNode的工作(特别是消耗内存的工作,因为内存资源对NameNode来说非常珍贵)。

4、DataNode

DataNode负责数据的实际存储。当一个文件上传至HDFS集群时,它以Block为基本单位分布在各个DataNode中,同时,为了保证数据的可靠性,每个Block会同时写入多个DataNode中(默认为3,咱们搞成了2)。DataNode通过心跳向node汇报自己的状态,同时拿到namedode指派下来的command执行。

5、Block

默认64M一块,一块存三分,童叟无欺。

②Linux操作HDFS

        HDFS 命令基本就是 Linux命令前面加上 "Hadoop fs -",官方文档入口

        下面是具有代表性的命令:

            hadoop dfsadmin -safemode leave  //退出安全模式,不然无法put

            hadoop fs -mkdir /user/kitten     //建文件夹,创建HDFS的用户

                 hadoop fs -chown kitten  /user/kitten   //更改文件夹的所有权

            hadoop fs -ls /user   //罗列文件

            hadoop fs -lsr /user //递归罗列文件

            hadoop fs -put test.txt  /user/kitten  //从Linux复制到HDFS

            hadoop fs -get /user/kitten   /test.txt  //从HDFS取到Linux

            hadoop fs -cat /user/kitten/test.txt   //建文件

            hadoop fs -tail /user/kitten/test.txt  //查看最后1000字节

            hadoop fs -rm /user/kitten/test.txt //删除

            hadoop fs -help ls   //国际惯例,查看ls命令的帮助文档

   

③Java操作HDFS

④看看现象

© 著作权归作者所有

一个能打的都没有
粉丝 5
博文 14
码字总数 5548
作品 0
朝阳
高级程序员
私信 提问
hadoop fs常用到的命令整理

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 https://blog.csdn.net/czz1141979570/article/details/96964240 一、hdfs基本操作 hadoop f...

流一&
2019/08/30
0
0
HDFS与其他并行文件系统的比较

HDFS作为一种新兴的并行文件系统,和现有的分布式文件系统相似,他们都是运行在普通硬件之上的分布式文件系统,然而HDFS与其他分布式文件系统也存在着一些差别。如HDFS具有高容错性,可以部署...

超人学院
2015/05/22
438
0
初学hadoop之linux系统操作的hdfs的常用命令

在对linux的一般操作有 ls mikdir rmdir vi 等操作 在对hadoop的hdfs的一般操作语法为hadoop fs -ls / /表示查看Hadoop跟目录文件/ hadoop fs -lsr / /*递归查看hadoop的文件目录/ hadoop fs...

viewsonic001
2016/11/09
223
0
Hadoop系列007-HDFS客户端操作

title: Hadoop系列007-HDFS客户端操作 date: 2018-12-6 15:52:55 updated: 2018-12-6 15:52:55 categories: Hadoop tags: [Hadoop,HDFS,HDFS客户端] 本人微信公众号,欢迎扫码关注! HDFS客户......

云端笑猿
2018/12/10
0
0
好程序员大数据教程分享HDFS常用shell和web界面介绍

大数据教程分享HDFS常用shell和web界面介绍 最后一个:块删除的开始时间 HDFS的Shell命令: ps:无论看到是hdfs dfs 形式还是 hadoop fs这种形式 都可以 完成对HDFS的操作 1.向HDSF上传文件 pu...

好程序员IT
2019/07/15
8
0

没有更多内容

加载失败,请刷新页面

加载更多

按对象字段对对象数组进行排序

如何按对象的字段之一(例如name或count对这个对象数组进行排序? Array( [0] => stdClass Object ( [ID] => 1 [name] => Mary Jane [......

javail
6分钟前
4
0
保护.NET代码免受逆向工程?

混淆是一种方法,但是它不能防止破坏应用程序的盗版保护安全性。 如何确保应用程序不受篡改,如何确保注册机制不能进行反向工程? 也可以将C#应用程序转换为本地代码,而Xenocode的成本太高...

技术盛宴
21分钟前
9
0
How To Create a Sudo User on Debian

The sudo command (short for Super-user do) is a program designed to allow users to execute commands with the security privileges of another user, by default the root user. In th......

Ciet
24分钟前
5
0
typescript学习资料

typescript 教程 深入理解 TypeScript

IT追寻者
49分钟前
6
0
剑指Offer - 给定一个数组和滑动窗口的大小,找出所有滑动窗口里数值的最大值

题目描述 给定一个数组和滑动窗口的大小,找出所有滑动窗口里数值的最大值。例如,如果输入数组{2,3,4,2,6,2,5,1}及滑动窗口的大小3,那么一共存在6个滑动窗口,他们的最大值分别为{4,4,6,6,...

SongAlone
52分钟前
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部