文档章节

Hadoop HDFS常用文件操作命令

游动的海蜇
 游动的海蜇
发布于 2017/02/15 22:03
字数 810
阅读 1526
收藏 1

一、命令的基本格式

hadoop fs -cmd < args >

二、ls命令

1.列出hdfs文件系统根目录下的目录和文件:

hadoop fs -ls  /

2.列出hdfs文件系统所有的目录和文件:

hadoop fs -ls -R /

三、mkdir命令

1.创建文件目录:

命令格式:

hadoop fs -mkdir < hdfs path>

示例:

hadoop fs -mkdir  /test

特别提示:

只能一级一级的建目录,父目录不存在的话使用这个命令会报错。

2.创建文件目录:

命令格式:

hadoop fs -mkdir -p < hdfs path>

示例:

hadoop fs -mkdir -p /hello/world

特别提示:

所创建的目录如果父目录不存在就创建该父目录。

四、put命令

上传文件或文件目录:

命令格式:

hadoop fs -put  < local file or dir >...< hdfs dir >

示例:

hadoop fs -put hadoop.txt /test
hadoop fs -put hadoop.txt /

特别提示:

hdfs file的父目录一定要存在,否则命令不会执行(比如上面示例中只会创建/test文件目录)。

五、rm命令

1.删除文件:

命令格式:

hadoop fs -rm < hdfs file > ...

示例:

hadoop fs -rm /hadoop.txt

2.删除文件目录:

命令格式:

hadoop fs -rm -r < hdfs dir>...

示例:

hadoop fs -rm -r /hello

六、get命令

1.将文件会复制到本地:

命令格式:

hadoop fs -get < hdfs file > < local file or dir>

示例:

hadoop fs -get /test/hadoop.txt hadoop_local.txt

特别提示:

local file不能和 hdfs file名字不能相同,否则会提示文件已存在,只能将没有重名的文件会复制到本地。

2.拷贝多个文件或目录到本地:

命令格式:

hadoop fs -get < hdfs file or dir > ... < local  dir >

示例:

hadoop fs -get /test /home/miracle/workspace/hadoop/local
hadoop fs -get /test/hadoop.txt /home/miracle/workspace/hadoop/local

特别提示:

如果用户不是root,local 路径要为用户文件夹下的路径,否则会出现权限问题。

七、archive命令

压缩文件:

命令格式:

hadoop archive -archiveName name.har -p < hdfs parent dir > < src >* < hdfs dst >

示例:

hadoop archive -archiveName hadoop.har -p /test hadoop.txt hadoop_local.txt /test

特别提示:

命令中参数name:压缩文件名,自己任意取;< hdfs parent dir > :压缩文件所在的父目录;< src >:要压缩的文件名;< hdfs dst >:压缩文件存放路径。

har文件不能进行二次压缩。如果想给.har加文件,只能找到原来的文件,重新创建一个。har文件中原来文件的数据并没有变化,har文件真正的作用是减少NameNode和DataNode过多的空间浪费。

八、dfsadmin命令

1.通过dfsadmin管理HDFS,显示帮助命令:

hdfs dfsadmin -help

2.显示文件系统的基本数据:

hdfs dfsadmin -report

3.进入管理模式:

命令格式:

hdfs dfsadmin -safemode < enter | leave | get | wait >

示例:

hdfs dfsadmin -safemode enter

特别提示:

enter:进入安全模式;leave:离开安全模式;get:获知是否开启安全模式; wait:等待离开安全模式。

九、balancer命令

** 手动启动内部的均衡:**

hdfs balancer

特别提示:

如果管理员发现某些DataNode保存数据过多,某些DataNode保存数据相对较少,可以使用上述命令手动启动内部的均衡过程。

十、参考文章

1.hadoop HDFS常用文件操作命令(https://segmentfault.com/a/1190000002672666)

© 著作权归作者所有

游动的海蜇
粉丝 9
博文 121
码字总数 33636
作品 0
杭州
程序员
私信 提问
HDFS 实验 (五) 图形化管理

./bin/hdfs dfsadmin -report http://192.168.209.162:50070/dfshealth.html#tab-overview 可以操作目录 http://192.168.209.162:50070/explorer.html#/ 方式一:命令行方式 Hadoop文件操作命......

pcdog
2018/04/13
0
0
【Hadoop】之 熟悉常用的HDFS操作

参考: http://www.jianshu.com/p/0663d74b79b5 一、实现目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统:Ubu...

fanfan4569
2017/09/03
0
0
HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,...

2846613430
2016/04/01
271
0
HDFS的Shell访问和Java API访问

Shell访问HDFS常用命令 1.shell 操作单个 HDFS 集群 下面列举出几个常用场景下的命令。 1、创建文件夹 HDFS 上的文件目录结构类似 Linux,根目录使用 "/" 表示。下面的命令将在 /middle 目录...

等待救赎
2015/10/19
244
0
hadoop hdfs 命令使用

概述 本文档介绍Hadoop hdfs系统的一些常用命令。 操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。(hadoop dfs命令已不再建议使用) 参考: http://hadoop.apache.org/do...

xtof
2018/08/10
14
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.7K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部