文档章节

HDFS文件操作命令

南寻
 南寻
发布于 2017/07/04 13:43
字数 812
阅读 23
收藏 0
点赞 0
评论 0

1.HDFS启动与关闭

1) 启动脚本:

    start-all.sh

2) 关闭脚本:

    stop-all.sh

2.HDFS文件操作命令

2.1 操作命令格式

hdfs dfs -cmd args

cmd是具体命令

args是命令参数

2.2 cat

格式:hdfs dfs -cat fileurl

作用:将参数所指的文件内容输出到stdout

示例:

  • hdfs dfs -cat /user/input/test

2.3 chgrp

格式:hdfs dfs -chgrp [-R] GROUP URL

作用:改变文件所属的用户组。如果使用-R选项,则这一操作对整个目录结构递归执行。要使用这个命令必须是该文件的所属用户或者超级用户。

2.4 chmod

格式:hdfs dfs -chmod [-R] URL

作用:修改文件的权限。如果加了-R选项则对整个目录进行递归执行。

2.5 chown

格式:hdfs dfs -chown [-R] [OWNER] [,[GROUP]] URI

作用:改变文件的所属用户。如果使用-R选项,则这一操作对整个目录进行递归执行。使用这一命令的用户必须是文件在命令变更之前的所属用户,或者是超级用户。

2.6 copyFromLocal

格式:hdfs dfs -copyFromLocal <localsrc> URI

作用:与put命令相似,但是要限定源文件路径为本地文件系统。

2.7 copyToLocal

格式:hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

作用:与get命令类似,但是要限定目标文件路径为本地文件系统。

2.8 count

格式:hdfs dfs -count [-q] <paths>

作用:统计匹配对应路径下的目录数,文件数,字节数(文件大小)。

选项意义:使用-count时,输出的列为:DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME

从左到右分别对应 : 目录下已存在的目录数,文件数,文件大小,文件名

使用-count -q时,输出的列为:

QUOTA,REMAINING_QUATA , SPACE_QUOTA , REMAINING_SPACE_QUATA , DIR_COUNT,

FILE_COUNT , CONTENT_SIZE , FILE_NAME

从左到右分别对应 : 目录下最大允许文件+目录数(不存在上限,则为none),目录下可增加目录数,文件数(不存在上限,则为inf) ,目录下最大允许空间(不存在上限,则为none),目录下可用最大空间(不存在上限,则为inf);后面几个和-count选项一致,分别对应目录下已存在的目录数,文件数,文件大小,文件名。

示例:

  • hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
  • hdfs dfs -count -q hdfs://nn1.example.com/file1

成功结束返回0,出现错误返回-1.

2.9 cp

格式:hdfs dfs -cp URI <dest>

作用:将文件拷贝到目标路径之中。如果<dest>为目录的话,可以将多个文件拷贝到该目录下

示例:

  • hdfs dfs -cp /user/input/file1 /user/output/file2
  • hdfs dfs -cp /user/input/file1 /user/input/file2 /user/output

返回值:成功返回0,出现错误返回1

2.10 du

格式:hdfs dfs -du [-s] [-h] URI 

作用:如果参数为目录,显示该目录+文件下的大小;若参数为单个文件,则显示文件大小。

选项意义:

-s 只输出所有文件大小的累加和,而不是单个文件的大小。

-h 会将文件大小的数值用方便阅读的形式表示,比如用64.0M代替67108864

示例:

  • hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1

 返回值:成功结束返回0,出现错误返回-1

 

© 著作权归作者所有

共有 人打赏支持
南寻
粉丝 61
博文 90
码字总数 35772
作品 0
朝阳
程序员
HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,...

2846613430
2016/04/01
90
0
HDFS 实验 (五) 图形化管理

./bin/hdfs dfsadmin -report http://192.168.209.162:50070/dfshealth.html#tab-overview 可以操作目录 http://192.168.209.162:50070/explorer.html#/ 方式一:命令行方式 Hadoop文件操作命......

pcdog
04/13
0
0
Hadoop实战读书笔记(5)

HDFS文件操作 你可以把一个大数据集(100TB)在HDFS中存储为单个文件,而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理,你也不必考虑这些细节...

祥林会跟你远走高飞
2014/12/08
0
0
Hadoop2.2.0 入门教程(三)之HDFS SHELL脚本

HDFS Shell hadoop fs -help: HDFS的帮助命令 hadoop fs -ls:查看文件或目录的命令 for example: hadoop fs -ls / 查看/(根目录下得文件或目录)for example: hadoop fs -lsr / 递归查看/(根目...

残风vs逝梦
2014/07/02
0
2
Hadoop上路_05-HDFS中的文件操作

1.Hadoop操作: 1)查看Hadoop版本: 2)自动开启Hadoop: hm@hm-ubuntu:~$ start-all.sh 3)手动开启Hadoop: 2.HDFS操作: 1)查看HDFS上的文件: hadoop dfs -ls / 等同于 hadoop fs -ls ...

vigiles
2013/05/20
0
0
初学hadoop之linux系统操作的hdfs的常用命令

在对linux的一般操作有 ls mikdir rmdir vi 等操作 在对hadoop的hdfs的一般操作语法为hadoop fs -ls / /表示查看Hadoop跟目录文件/ hadoop fs -lsr / /*递归查看hadoop的文件目录/ hadoop fs...

viewsonic001
2016/11/09
19
0
hadoop的体系结构 hadoop hdfs 命令

hadoop的体系结构 NameNode - 主节点主服务器 SecondaryNameNode– 是辅助nameNode DataNode -数据保存用的 TaskTracker – 接收任务 JobTracker - 分数据 -100M Datanode1,DataNode2,DataNo...

八戒_o
2015/12/03
218
0
【Hadoop】之 熟悉常用的HDFS操作

参考: http://www.jianshu.com/p/0663d74b79b5 一、实现目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统:Ubu...

fanfan4569
2017/09/03
0
0
HDFS的Shell访问和Java API访问

Shell访问HDFS常用命令 1.shell 操作单个 HDFS 集群 下面列举出几个常用场景下的命令。 1、创建文件夹 HDFS 上的文件目录结构类似 Linux,根目录使用 "/" 表示。下面的命令将在 /middle 目录...

等待救赎
2015/10/19
97
0
hadoop(01)、windows平台下hadoop环境搭建

hadoop是运行在linux系统下的一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。今天我们要...

MaxBill
2017/11/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

rabbitmq学习记录(三)

工作队列:一个生产者,多个消费者,生产者直接将消息发送到rabbitmq的队列之中 默认采用的是轮询分配:即不管消费者处理信息的效率,队列给所有消费者轮流发送一条信息,直至消息发送完毕 ...

人觉非常君
19分钟前
0
0
Java 之 反射

反射,剖析 Java类 中的 各个组成部分,映射成 一个个 Java对象,多用于 框架和组件,写出复用性高的通用程序。 测试类代码如下: class Person { private String name; public St...

绝世武神
22分钟前
0
0
华为nova3超级慢动作酷玩抖音,没有办法我就是这么强大

华为nova3超级慢动作酷玩抖音,没有办法我就是这么强大!华为nova3超级慢动作酷玩抖音,没有办法我就是这么强大! 在华为最新发布的nova 3手机上,抖音通过华为himedia SDK集成了60fps、超级...

华为终端开放实验室
28分钟前
0
0
多 SSH Key 实现同一台服务器部署多 Git 仓库

本文以以下需求为背景,介绍详细的做法: 需在同一台服务器同时部署两个不同的 Github 仓库(对 Bitbucket 等 git 服务同样适用) root 用户可在远程登录 SSH 后附上预期的 SSH Key 进行 gi...

yeahlife
30分钟前
0
0
003. es6数值的扩展

一、普通扩展 Number 方法,将字符串、数值转为十进制 : Number('0b111') Number.isFinite() 用来检查一个数值是否为有限的:Number.isFinite(15) Number.isNan() 用来检查一个值是否为NaN N...

秋季长青
44分钟前
0
0
C语言数组和指针的语法糖

对于C语言,我可以这样秀:比如当创建一个数组arr[n]之后,一般我们去遍历数组的时候是for (int i = 0; i < n; i++) { a[i]; }但是我知道下表访问符[]是个语法糖,也就是说a[i]在编译器看来是...

ustbgaofan
53分钟前
0
0
Call to undefined function bcmath()的解决方法

乐意黎的ECS主机环境,Centos7.2 + PHP7 由于使用了bcdiv()函数,运行时总在抛错。 Fatal error: Call to undefined function bcmath() in /usr/loca/apache/htdocs/... on line 4 一查得知:......

dragon_tech
58分钟前
0
0
css优先级

..

architect刘源源
今天
0
0
【转】Twitter的分布式自增ID算法snowflake

结构 snowflake的结构如下(每部分用-分开): 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 第一位为未使用,接下来的41位为毫秒级时间(41位的长度可以...

talen
今天
0
0
hive支持行级修改

Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置。要想支持行级insert、update、delete,需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景 1. 流式...

hblt-j
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部