文档章节

HDFS文件操作命令

南寻
 南寻
发布于 2017/07/04 13:43
字数 812
阅读 42
收藏 0

1.HDFS启动与关闭

1) 启动脚本:

    start-all.sh

2) 关闭脚本:

    stop-all.sh

2.HDFS文件操作命令

2.1 操作命令格式

hdfs dfs -cmd args

cmd是具体命令

args是命令参数

2.2 cat

格式:hdfs dfs -cat fileurl

作用:将参数所指的文件内容输出到stdout

示例:

  • hdfs dfs -cat /user/input/test

2.3 chgrp

格式:hdfs dfs -chgrp [-R] GROUP URL

作用:改变文件所属的用户组。如果使用-R选项,则这一操作对整个目录结构递归执行。要使用这个命令必须是该文件的所属用户或者超级用户。

2.4 chmod

格式:hdfs dfs -chmod [-R] URL

作用:修改文件的权限。如果加了-R选项则对整个目录进行递归执行。

2.5 chown

格式:hdfs dfs -chown [-R] [OWNER] [,[GROUP]] URI

作用:改变文件的所属用户。如果使用-R选项,则这一操作对整个目录进行递归执行。使用这一命令的用户必须是文件在命令变更之前的所属用户,或者是超级用户。

2.6 copyFromLocal

格式:hdfs dfs -copyFromLocal <localsrc> URI

作用:与put命令相似,但是要限定源文件路径为本地文件系统。

2.7 copyToLocal

格式:hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

作用:与get命令类似,但是要限定目标文件路径为本地文件系统。

2.8 count

格式:hdfs dfs -count [-q] <paths>

作用:统计匹配对应路径下的目录数,文件数,字节数(文件大小)。

选项意义:使用-count时,输出的列为:DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME

从左到右分别对应 : 目录下已存在的目录数,文件数,文件大小,文件名

使用-count -q时,输出的列为:

QUOTA,REMAINING_QUATA , SPACE_QUOTA , REMAINING_SPACE_QUATA , DIR_COUNT,

FILE_COUNT , CONTENT_SIZE , FILE_NAME

从左到右分别对应 : 目录下最大允许文件+目录数(不存在上限,则为none),目录下可增加目录数,文件数(不存在上限,则为inf) ,目录下最大允许空间(不存在上限,则为none),目录下可用最大空间(不存在上限,则为inf);后面几个和-count选项一致,分别对应目录下已存在的目录数,文件数,文件大小,文件名。

示例:

  • hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
  • hdfs dfs -count -q hdfs://nn1.example.com/file1

成功结束返回0,出现错误返回-1.

2.9 cp

格式:hdfs dfs -cp URI <dest>

作用:将文件拷贝到目标路径之中。如果<dest>为目录的话,可以将多个文件拷贝到该目录下

示例:

  • hdfs dfs -cp /user/input/file1 /user/output/file2
  • hdfs dfs -cp /user/input/file1 /user/input/file2 /user/output

返回值:成功返回0,出现错误返回1

2.10 du

格式:hdfs dfs -du [-s] [-h] URI 

作用:如果参数为目录,显示该目录+文件下的大小;若参数为单个文件,则显示文件大小。

选项意义:

-s 只输出所有文件大小的累加和,而不是单个文件的大小。

-h 会将文件大小的数值用方便阅读的形式表示,比如用64.0M代替67108864

示例:

  • hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1

 返回值:成功结束返回0,出现错误返回-1

 

© 著作权归作者所有

南寻
粉丝 63
博文 90
码字总数 35772
作品 0
朝阳
程序员
私信 提问
HDFS 实验 (五) 图形化管理

./bin/hdfs dfsadmin -report http://192.168.209.162:50070/dfshealth.html#tab-overview 可以操作目录 http://192.168.209.162:50070/explorer.html#/ 方式一:命令行方式 Hadoop文件操作命......

pcdog
2018/04/13
0
0
Hadoop上路_05-HDFS中的文件操作

1.Hadoop操作: 1)查看Hadoop版本: 2)自动开启Hadoop: hm@hm-ubuntu:~$ start-all.sh 3)手动开启Hadoop: 2.HDFS操作: 1)查看HDFS上的文件: hadoop dfs -ls / 等同于 hadoop fs -ls ...

vigiles
2013/05/20
357
0
hadoop(01)、windows平台下hadoop环境搭建

hadoop是运行在linux系统下的一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。今天我们要...

MaxBill
2017/11/13
309
0
hdfs命令

使用:hdfs --help,hdfs dfs -help查看命令帮助,很详细。 1.hdfs dfs,是最常用的命令了,跟linux的命令很相似,包含所有操作hdfs目录的命令 hdfs dfs -put file1 /dir/ 将linux文件系统的...

cjun1990
2016/07/22
18
0
HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,...

2846613430
2016/04/01
271
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
4
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
8
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
901
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部