hadoop-3.2.0------>入门十八hadoop之HDFS的shell命令操作

原创
04/22 16:53
阅读数 53

基本语法

bin/hadoop fs
bin/hdfs dfs

上面两个命令均可以使用,dfs是fs的实现类

命令大全

            1、启动hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh

            2、输出这个命令参数

hadoop fs -help rm

            3、显示目录信息

#查看根目录
hadoop fs -ls /
#递归查看所有文件目录
hadoop fs -lsr /

            4、在hdfs上创建文件夹

hadoop fs -mkdir -p /user/root

            5、从本地剪切文件并粘贴到HDFS上

#创建test.txt文件
touch test.txt
#剪切本地文件并粘贴到hdfs上
hadoop fs -moveFromLocal ./test.txt /user/root

            6、追加一个文件到已经存在的文件末尾

#创建测试文本2
touch test2.txt
#编辑文本
vi test2.txt
#文本中输入内容
zhangsan   lisi   wangwu
#退出编辑模式
点击键盘左上角ESC
#保存并退出
:wq!
#上传文件并追加到test文本中
hadoop fs -appendToFile test2.txt /user/root/test.txt

            7、显示文件内容

hadoop fs -cat /user/root/test.txt

            8、修改文件所属权限

hadoop fs -chmod 666 /user/root/test.txt
hadoop fs -chown root:root /user/root/test.txt

            9、从本地文件系统中拷贝文件到HDFS路径中

hadoop fs -copyFromLocal README.txt /

            10、将HDFS上文件拷贝到本地

hadoop fs -copyToLocal /user/root/test.txt ./

            11、将HDFS上的文件从一个路径拷贝到另一个路径

hadoop fs -cp /user/root/test.txt /

            12、在HDFS目录中移动文件

hadoop fs -mv /user/root/test.txt /user

            13、等同于copyToLocal,从HDFS下载文件到本地

hadoop fs -get /user/root/test.txt ./

            14、合并下载多个文件,比如HDFS目录/user/root下有多个文件:test.txt,test2.txt,test3.txt....

hadoop fs -getmerge /user/root/* ./test.txt

            15、等同于copyFromLocal

hadoop fs -put ./test.txt /user/root/

            16、显示一个文件末尾

hadoop fs -tail /user/root/test.txt

            17、删除文件或文件夹

hadoop fs -rm /user/root/test.txt

            18、删除空目录

hadoop fs -rmdir /user/root/input

            19、统计文件夹的大小信息

hadoop fs -du -s -h /user/root

            20、设置HDFS中文件副本数量

hadoop fs -setrep 10 /user/root/test.txt

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部