文档章节

Hadoop2.x 常用命令

山哥
 山哥
发布于 2016/09/23 10:37
字数 669
阅读 24
收藏 0

基本命令格式为:hdfs dfs -cmd <args>

1. -ls  path

列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。

2. -ls -R  path

与ls相似,但递归地显示子目录下的内容。

3. -du path

显示path下所有文件磁盘使用情况下,用字节大小表示,文件名用完整的HDFS协议前缀表示。

4. -dus path

与-du相似,但它还显示全部文件或目录磁盘使用情况

5. -mv src dest

在HDFS中,将文件或目录从HDFS的源路径移动到目标路径。

6. -cp src dest

在HDFS中,将src文件或目录复制到dest。

7. –rm path

删除一个文件或目录

8. –rm -R  path

删除一个文件或递归删除目录

注意:这里的mv cp操作的源路径和目的路径都是在HDFS中的路径文件

9. –put localSrc dest

将本地文件或目录localSrc上传到HDFS中的dest路径。

10. –copyFromLocal localSrc dest

与-put命令相同

11. –moveFromLocal localSrc dest

将文件或目录从localSrc上传到HDFS中的dest目录,再删除本地文件或目录localSrc。

12. –get  [-ignoreCrc] [-crc] src localDest

将文件或目录从HDFS中的src拷贝到本地文件系统localDest。

13. –getmerge src localDest [addnl]

将在HDFS中满足路径src的文件合并到本地文件系统的一个文件localDest中。

14. –cat filename

显示文件内容到标准输出上。

15. -copyToLocal [-crc] src localDest

与-get命令相同。

16. -moveToLocal [-crc] src localDest

与-get命令相似,但拷贝结束后,删除HDFS上原文件。

17. -mkdir path

在HDFS中创建一个名为path的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr –p。

18. -setrep [-R] [-w] rep path

设置目标文件的复制数。

19. -touchz path

创建一个文件。时间戳为当前时间,如果文件本就存在就失败,除非原文件长充为0。

20. -test –[ezd] path

如果路径(path)存在,返回1,长度为0(zero),或是一个目录(directory)。

21. –stat [format] path

显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。

22. –tail [-f] file

显示文件最后的1KB内容到标准输出。

23. –chmod [-R] [owner][:[group]] path…

递归修改时带上-R参数,mode是一个3位的8进制数,或是[augo]+/-{rwxX}。

24. –chgrp [-R] group

设置文件或目录的所有组,递归修改目录时用-R参数。

25. –help cmd

显示cmd命令的使用信息,你需要把命令的“-”去掉。

------------------ 声明:以上命令及其解释来自网络整理 --------------------

本文转载自:

山哥

山哥

粉丝 246
博文 354
码字总数 136686
作品 0
南京
程序员
私信 提问
Hadoop2.2.0 入门教程(一)之hadoop2.x编译mac版本)

Hadoop 编译 在apache官网提供的hadoop2.x的编译后的hadoop项目,但是官方提供的编译后的项目是在32bit电脑上编译的,那么在64bit的电脑上,hadoop程序的运行还和本地环境有关,所以建议大家...

残风vs逝梦
2014/07/03
0
0
hadoop2.6.0安装配置

注意: 1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置 2.有关hadoop的命令,参考:hadoop2.x的命令 3.先修改一台机器的配置文件,剩余...

cjun1990
2015/03/25
0
0
Hadoop2.4.1分布式安装

1、做好下文中的所有配置:Hadoop1.2.1分布式安装-1-准备篇。 2、Hadoop2.x的发行版中有个小问题:libhadoop.so.1.0.0在64位OS中存在问题,因为它是32位的,在64位OS中hadoop启动时会报一个W...

悟空太多啦
2014/07/30
0
0
hadoop2.x常用端口、定义方法及默认端口

以hadoop2.2为例完全分布式最新高可靠安装文档 http://www.aboutyun.com/thread-7684-1-1.html hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比 http://www.aboutyun.com/thread...

aibati2008
2016/04/13
50
0
大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶
2018/05/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JWT学习总结

官方 https://jwt.io 英文原版 https://www.ietf.org/rfc/rfc7519.txt 或 https://tools.ietf.org/html/rfc7519 中文翻译 https://www.jianshu.com/p/10f5161dd9df 1. 概述 JSON Web Token(......

冷基
今天
4
0
AOP的学习(1)

AOP 理解AOP编程思想(面向方法、面向切面) spring AOP的概念 方面 -- 功能 目标 -- 原有方法 通知 -- 对原有方法增强的方法 连接点 -- 可以用来连接通知的地方(方法) 切入点 -- 将用来插入...

太猪-YJ
今天
4
0
一张图看懂亮度、明度、光度、光亮度、明亮度

亮度、明度、光亮度,Luminance和Brightness、lightness其实都是一个意思,只是起名字太难了。 提出一个颜色模型后,由于明度的取值与别人的不同,为了表示区别所以就另想一个词而已。 因此在...

linsk1998
昨天
11
0
Python应用:python链表示例

前言 python链表应用源码示例,需要用到python os模块方法、函数和类的应用。 首先,先简单的来了解下什么是链表?链表是一种物理存储单元上非连续、非顺序的存储结构,数据元素的逻辑顺序是...

python小白1
昨天
5
0
Source Insight加载源码

Source Insight是一个图形化的源代码查看工具(当然也可以作为编译工具)。如果一个项目的源代码较多,此工具可以很方便地查找到源代码自建的依赖关系。 1.创建工程 下图为Snort源代码的文件...

天王盖地虎626
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部