文档章节

hdfs的常用命令

岁月留痕
 岁月留痕
发布于 2015/12/08 18:43
字数 760
阅读 186
收藏 0

Hadoop2 HDFS shell命令

 

1. hdfs dfs -appendToFile <localsrc> ... <dst>

 

可同时上传多个文件到HDFS里面

 

2.  hdfs dfs -cat URI [URI ...]

 

查看文件内容

 

3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]

 

修改文件所属组

 

4.  hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

 

修改文件权限

 

5. hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

 

修改文件所有者,文件所属组,其他用户的读、写、执行权限

 

6. hdfs dfs -copyFromLocal <localsrc> URI

 

复制文件到hdfs

 

7.  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

 

复制文件到本地

 

8. hdfs dfs -count [-q] <paths>

 

统计文件及文件夹数目

 

9.  hdfs dfs -cp [-f] URI [URI ...] <dest>

 

Hadoop HDFS 文件系统间的文件复制

 

10. hdfs dfs -du [-s] [-h] URI [URI ...]

 

统计目录下的文件及大小

 

 

 

11. hdfs dfs -dus <args>

 

汇总目录下的文件总大小

 

12.  hdfs dfs -expunge

 

清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

 

13. hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

 

下载文件到本地

 

14. hdfs dfs -getfacl [-R] <path>

 

查看ACL (访问权限拥有者)

 

15. hdfs dfs -getmerge <src> <localdst> [addnl]

 

合并下载文件到本地

 

16. hdfs dfs -ls <args>

 

查看目录

 

17. hdfs dfs -lsr <args>

 

循环列出目录、子目录及文件信息 

 

18. hdfs dfs -mkdir [-p] <paths>

 

创建空白文件夹

 

19.  dfs -moveFromLocal <localsrc> <dst>

 

剪切文件到hdfs

 

20.  hdfs dfs -moveToLocal [-crc] <src> <dst>

 

剪切文件到本地

 

21. hdfs dfs -mv URI [URI ...] <dest>

 

剪切hdfs文件

 

22. hdfs dfs -put <localsrc> ... <dst>

 

上传文件

 

23. hdfs dfs -rm [-skipTrash] URI [URI ...]

 

删除文件/空白文件夹

 

24.  hdfs dfs -rmr [-skipTrash] URI [URI ...]

 

递归删除  删除文件及文件夹下的所有文件

 

25. hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

 

Sets Access Control Lists (ACLs) of files and directories.

Options:

  • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.

  • -k: Remove the default ACL.

  • -R: Apply operations to all files and directories recursively.

  • -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.

  • -x: Remove specified ACL entries. Other ACL entries are retained.

  • --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.

  • acl_spec: Comma separated list of ACL entries.

  • path: File or directory to modify.

Examples:

  • hdfs dfs -setfacl -m user:hadoop:rw- /file

  • hdfs dfs -setfacl -x user:hadoop /file

  • hdfs dfs -setfacl -b /file

  • hdfs dfs -setfacl -k /dir

  • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file

  • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir

  • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

Exit Code:

Returns 0 on success and non-zero on error.

 

 

26.  hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

 

修改副本数

 

27. hdfs dfs -stat URI [URI ...]

 

显示文件统计信息

 

28.  hdfs dfs -tail [-f] URI

 

查看文件尾部信息

 

29. hdfs dfs -test -[ezd] URI

 

对PATH进行如下类型的检查: 

-e PATH是否存在,如果PATH存在,返回0,否则返回1 

-z 文件是否为空,如果长度为0,返回0,否则返回1 

-d 是否为目录,如果PATH为目录,返回0,否则返回1 

 

30. hdfs dfs -text <src>

 

查看文件内容

 

31.  hdfs dfs -touchz URI [URI ...]

 

创建长度为0的空文件


© 著作权归作者所有

岁月留痕
粉丝 3
博文 25
码字总数 25341
作品 0
郑州
私信 提问
【Hadoop】之 熟悉常用的HDFS操作

参考: http://www.jianshu.com/p/0663d74b79b5 一、实现目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统:Ubu...

fanfan4569
2017/09/03
0
0
hdfs命令

使用:hdfs --help,hdfs dfs -help查看命令帮助,很详细。 1.hdfs dfs,是最常用的命令了,跟linux的命令很相似,包含所有操作hdfs目录的命令 hdfs dfs -put file1 /dir/ 将linux文件系统的...

cjun1990
2016/07/22
20
0
Hadoop大数据入门到实战(第四节) - HDFS文件系统(使用)

这一小节我们来学习:1.HDFS的设计,2.HDFS常用命令。 HDFS的设计 分布式文件系统 客户:帮我保存一下这几天的数据。 程序猿:好嘞,有多大呢? 客户:1T。 程序猿:好没问题,买个硬盘就搞定...

MasterXiao
2018/08/09
0
0
HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,...

2846613430
2016/04/01
324
0
shell 命令操作hdfs

简介 本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令 如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境,如果没有搭建环境的可以参考这...

u012957549
2017/12/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Android OkHttp + Retrofit 取消请求的方法

本文链接 前言 在某一个界面,用户发起了一个网络请求,因为某种原因用户在网络请求完成前离开了当前界面,比较好的做法是取消这个网络请求。对于OkHttp来说,具体是调用Call的cancel方法。 ...

shzwork
36分钟前
6
0
并发编程之Callable异步,Future模式

Callable 在Java中,创建线程一般有两种方式,一种是继承Thread类,一种是实现Runnable接口。然而,这两种方式的缺点是在线程任务执行结束后,无法获取执行结果。我们一般只能采用共享变量或...

codeobj
今天
6
0
Ubuntu环境下安装PaddlePaddle

开篇 深度学习技术是目前非常热门的技术,笔者在闲暇之余决定学习一下这门技术,入门选择了百度开源的PaddlePaddle框架。 paddlepaddle介绍 飞桨(PaddlePaddle) 是国际领先的端到端开源深度学...

豫华商
今天
6
0
LeetCode 第 287 号问题:寻找重复数,一道非常简单的数组遍历题,加上四个条件后感觉无从下手

今天分享的题目来源于 LeetCode 第 287 号问题:寻找重复数。 题目描述 给定一个包含 n + 1 个整数的数组 nums,其数字都在 1 到 n 之间(包括 1 和 n),可知至少存在一个重复的整数。假设只...

五分钟学算法
今天
6
0
vuex mapActions

本文转载于:专业的前端网站➧vuex mapActions 在组件中使用 this.$store.dispatch('xxx') 分发 action,或者使用 mapActions 辅助函数将组件的 methods 映射为 store.dispatch 调用(需要先在...

前端老手
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部