文档章节

Hadoop Shell命令官网翻译

AWDT
 AWDT
发布于 2014/12/03 10:25
字数 2535
阅读 108
收藏 6


FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout

  • appendToFile
    • Usage: hdfs dfs -appendToFile <localsrc> ... <dst>
    • 将本地文件系统的单个文件或者多个文件追加到目标文件系统,支持stdin标准输入
    • hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile
    • hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
    • hdfs dfs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
    • hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.
    • Exit Code:
      Returns 0 on success and 1 on error.
  • cat
    • 使用方法:hdfs dfs -cat URI [URI …]
    • 将路径指定文件的内容输出到stdout。
    • 示例:
      • hdfs dfs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
      • hdfs dfs -cat file:///file3 /user/hadoop/file4
    • 返回值:成功返回0,失败返回-1。
  • chgrp
    • 使用方法:hdfs dfs -chgrp [-R] GROUP URI [URI …]
    • 改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南
  • chmod
    • 使用方法:hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
    • 改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。更多的信息请参见HDFS权限用户指南
  • chown
    • 使用方法:hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
    • 改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信息请参见HDFS权限用户指南
  • copyFromLocal
    • Usage: hdfs dfs -copyFromLocal <localsrc> URI
    • 除了限定源路径是一个本地文件外,和put命令相似。
    • Options:     -f选项将覆盖目标如果目标已经存在。
  • copyToLocal
    • Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
    • 除了限定目标路径是一个本地文件外,和get命令类似。
  • count
    • Usage: hdfs dfs -count [-q] <paths>
    • 计算目录的数量,与指定文件模式匹配的路径的文件和字节。
    • 使用-count输出列是:DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME
    • 使用-count -q 输出列是:QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, FILE_NAME
    • Example:    
    • Exit Code:Returns 0 on success and -1 on error.
  • cp
    • Usage: hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
    • 将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。
      • Options:-f选项将覆盖目标。
      • -p选项将保存的文件属性[ TOPX ](时间戳,所有权,许可,ACL,xattr)。如果-p不是特定的,然后保存时间戳,所有权,许可。如果PA是指定的,然后保留权限也因为ACL是一个允许超集合
    • Example:    
      • hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2    
      • hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
    • Exit Code:Returns 0 on success and -1 on error.
  • du
    • Usage: hdfs dfs -du [-s] [-h] URI [URI ...]
    • 显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小。
    • Options:
      • -s选项将会在文件的长度显示总的概括,而不是单个文件。
      • - H选项将格式在“人类可读的“时尚大小文件(如64.0M代替67108864)
    • Example:     hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1
    • Exit Code: Returns 0 on success and -1 on error.
  • dus
    • Usage: hdfs dfs -dus <args>
    • 显示文件长度的概要。这是HDFS的DFS –du –s 的一个备用状态。
  • expunge
    • Usage: hdfs dfs -expunge
    • 清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。
  • get
    • Usage: hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
    • 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。
    • Example:    
    • Exit Code:Returns 0 on success and -1 on error.
  • getfacl
    • Usage: hdfs dfs -getfacl [-R] <path>
    • 显示访问控制列表(ACL)的文件和目录。如果一个目录有一个默认的ACL,然后getfacl也显示默认的ACL。
    • Options:    
      • -R: List the ACLs of all files and directories  recursively.    
      • path: File or directory to list.
    • Examples:    
      • hdfs dfs -getfacl /file    
      • hdfs dfs -getfacl -R /dir
    • Exit Code:Returns 0 on success and non-zero on error.
  • getfattr
    • Usage: hdfs dfs -getfattr [-R] -n name | -d [-e en] <path>
    • 显示一个文件或者目录的扩展属性吗和值
    • Options:  
      •   -R: 递归列出    
      • -n 名称:自指定的扩展属性。    
      • -d 转储所有扩展属性值与路径    
      • -e 编码:编码值后,检索。有效的编码是“文本”,“hex”,和“Base64”。编码值为文本字符串括在双引号(“),编码值为十六进制和Base64的前缀分别为0x和0s    
      • path: 文件或者目录.
    • Examples:  
      • hdfs dfs -getfattr -d /file
      • hdfs dfs -getfattr -R -n user.myAttr /dir
    • Exit Code:Returns 0 on success and non-zero on error.
  • getmerge
    • Usage: hdfs dfs -getmerge <src> <localdst> [addnl]
    • 接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。addnl是可选的,用于指定在每个文件结尾添加一个换行符。
  • ls
    • Usage: hdfs dfs -ls <args>
    • 如果是文件,则按照如下格式返回文件信息:
    • 文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID
    • 如果是目录,则返回它直接子文件的一个列表,就像在Unix中一样。
    • 目录返回列表的信息如下:
      • 目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID
    • Exit Code:Returns 0 on success and -1 on error.
  • lsr
    • 使用方法:hadoop fs -lsr <args>
    • ls命令的递归版本。类似于Unix中的ls -R。
  • mkdir
    • Usage: hdfs dfs -mkdir [-p] <paths>
    • 接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。
    • Options:-p选项的行为非常像UNIX mkdir -p,创建父目录路径。
  • moveFromLocal
    • Usage: hdfs dfs -moveFromLocal <localsrc> <dst>
    • 跟put类似的命令,除了源localsrc是在它的复制之后被删除掉。
  • moveToLocal
    • Usage: hdfs dfs -moveToLocal [-crc] <src> <dst>
    • Displays a "Not implemented yet" message.
  • mv
    • Usage: hdfs dfs -mv URI [URI ...] <dest>
    • 将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
  • put
    • Usage: hdfs dfs -put <localsrc> ... <dst>
    • 从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
  • rm
    • Usage: hdfs dfs -rm [-skipTrash] URI [URI ...]
    • 删除指定参数的文件。只删除非空的目录和文件。If the -skipTrash option is specified, the trash, if enabled, will be bypassed and the specified file(s) deleted immediately. This can be useful when it is necessary to delete files from an over-quota directory.参考指rmr递归删除。
  • rmr
    • Usage: hdfs dfs -rmr [-skipTrash] URI [URI ...]
    • 删除的递归版本。If the -skipTrash option is specified, the trash, if enabled, will be bypassed and the specified file(s) deleted immediately. This can be useful when it is necessary to delete files from an over-quota directory.
  • setfacl
    • Usage: hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
    • 设置文件和目录的访问控制列表(ACL)。
    • Options:
      • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
      • -k: Remove the default ACL.
      • -R: Apply operations to all files and directories recursively.
      • -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.
      • -x: Remove specified ACL entries. Other ACL entries are retained.
      • --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.
      • acl_spec: Comma separated list of ACL entries.
      • path: File or directory to modify.
    • Examples:
      • hdfs dfs -setfacl -m user:hadoop:rw- /file
      • hdfs dfs -setfacl -x user:hadoop /file
      • hdfs dfs -setfacl -b /file
      • hdfs dfs -setfacl -k /dir
      • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
      • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
      • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir
  • setfattr
    • Usage: hdfs dfs -setfattr -n name [-v value] | -x name <path>
    • 设置文件或目录的一个扩展属性的名称和值。
    • Options:
      • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
      • -n name: The extended attribute name.
      • -v value: The extended attribute value. There are three different encoding methods for the value. If the argument is enclosed in double quotes, then the value is the string inside the quotes. If the argument is prefixed with 0x or 0X, then it is taken as a hexadecimal number. If the argument begins with 0s or 0S, then it is taken as a base64 encoding.
      • -x name: Remove the extended attribute.
      • path: The file or directory.
    • Examples:
      • hdfs dfs -setfattr -n user.myAttr -v myValue /file
      • hdfs dfs -setfattr -n user.noValue /file
      • hdfs dfs -setfattr -x user.myAttr /file
  • setrep
    • Usage: hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
    • 改变文件的复制因子。如果path 是一个目录,那么命令递归改变此目录树路径下的所有文件的复制因子。
    • Options:
      • The -w flag requests that the command wait for the replication to complete. This can potentially take a very long time.
      • The -R flag is accepted for backwards compatibility. It has no effect.
    • Example:hdfs dfs -setrep -w 3 /user/hadoop/dir1
  • stat
    • Usage: hdfs dfs -stat URI [URI ...]
    • 返回指定路径的统计信息。
    • Example:hdfs dfs -stat path
  • tail
    • Usage: hdfs dfs -tail [-f] URI
    • 将文件尾部1K字节的内容输出到stdout。支持-f选项,行为和Unix中一致。
  • test
    • Usage: hdfs dfs -test -[ezd] URI
    • 选项:
      • -e 检查文件是否存在。如果存在则返回0。
      • -z 检查文件是否是0字节。如果是则返回0。
      • -d 如果路径是个目录,则返回1,否则返回0。
  • text
    • Usage: hdfs dfs -text <src>
    • 将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
  • touchz
    • Usage: hdfs dfs -touchz URI [URI ...]
    • 创建一个0字节的空文件。
    • Example:
      • hadoop -touchz pathname






















© 著作权归作者所有

共有 人打赏支持
AWDT
粉丝 0
博文 3
码字总数 5764
作品 0
昌平
Hadoop3.0.0-beta1的一些特性

最近突发奇想看看hadoop3.x结果发现已经进入beta版了 也就是说下一个版本就能用了于是看了一下官网总结一下有哪些特性。 Apache Hadoop 3.0.0-beta1在前一个主要发布版本(hadoop-2.x)中包含...

ghwolf1124
2017/11/17
0
0
standalone模式安装

1.安装好jdk,版本最好1.6+,本人安装的是1.7,并且配置好环境变量JAVAHOME。 2.安装好scala,scala版本最好选择2.10.4,配置好环境变量SCALAHOME。本人没有安装scala,但是spark一样能运行,...

cjun1990
2015/09/16
191
0
常用参考资料及网站

http://php.net/ php官网,下载,文档都非常详细,而且参考文档有中文 http://httpd.apache.org/ apache httpd的官网,下载,文档齐全,参考文档有部分中文。 http://www.jinbuguo.com/apac...

titandeng
2016/06/27
0
0
Hadoop学习01_Single Node Setup

目的 本文的目的主要是为了说明如何单点配置hadoop,从而能使用单个节点进行Hadoop MapReduce 和Hadoop Distributed File System (HDFS)运算。 先决条件 平台支持 GNU/Linux 作为开发和生产环...

烽焱10仴
2012/10/20
0
0
Hadoop用户启动hdf几个进程

详细的修改步骤: 启动的三个进程: namenode: hadoop-01 bin/hdfs getconf -namenodes datanode: localhost datanodes (using default slaves file) etc/hadoop/slaves secondarynamenode:......

编程南风
07/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

谷歌 Fuchsia 上手体验,将取代Android/win10

在手机市场领域,Google表现很抢眼,毫无疑问,Android 至今在移动操作系统的市场份额占据绝对领先地位,但是 Android 仍然存在不少问题,碎片化问题严重,在平板以及大屏幕设备上表现糟糕,...

linux-tao
24分钟前
1
0
List、Array与ArrayList

数组在内存中是连续存储的,所以它的索引速度很快,而且赋值和修改元素也非常快,比如: string[] s=new string[3];//赋值 s[0]="a"; s[1]="b"; s[2]="c";//修改 s[1]="b1"; 但是数组...

shimmerkaiye
26分钟前
0
0
Linux 的Lnmp环境下为mysql添加环境变量

一.问题 在Linux 安装完Lnmp 环境后 , 连接Mysql 告诉没有这条命令 mysql -uroot -p 命令失效 因为是源码安装的,所以会出现这样的的原因 。集成环境是不会出现的。 其实很简单,只需要给m...

15834278076
28分钟前
3
0
apolloxlua include函数

include函数不是单独使用的函数, 他并不是标准库的一部分, 你可以使用include函数将某个后缀为 .aop的文档包含到你的文档流中。 因为include是单独处理流, 所以不会在主处理流程中有所表示...

钟元OSS
32分钟前
0
0
【转载分享】做一名较真的工程师

近些年与我共事过的同事,一定知道我至今仍有一个较真的性格。我会:指出同事所写代码的不当命名问题(并帮助改进);指出同事所写文档中的逻辑混乱问题(并辅以修订);指出同事所写PPT中乱...

HellerZhang
34分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部