hadoop学习记录(二):hadoop常用shell命令

原创
2018/10/15 11:22
阅读数 131

一、查看hadoop命令帮助手册

hadoop -help     hadoop命令
hadoop fs -help  hadoop文件系统命令

二、查看文件

hadoop fs -ls /       查看hdfs根节点下所有文件
hadoop fs -ls /test1  查看hdfs跟几点下的test1文件夹下的所有文件

三、创建目录

hadoop fs -mkdir /test2  在hdfs根节点下创建test2文件夹
hadoop fs -mkdir /test3  在hdfs根节点下创建test3文件夹
hadoop fs -mkdir /test4  在hdfs根节点下创建test4文件夹

四、上传文件

hadoop fs -put ./MinghanSui.txt /test1                 将本地当前文件夹中的MinghanSui.txt文件复制到hdfs中test1文件夹
hadoop fs -moveFromLocal ./MinghanSui.txt /test1       将本地当前文件夹中的MinghanSui.txt文件剪切到hdfs中test1文件夹
hadoop fs -appendToFile  ./1.txt /test1/MinghanSui.txt 将本地当前文件夹中的1.txt文件追加到hdfs中MinghanSui.txt文件中 

五、复制文件

hadoop fs -cp /test1/MinghanSui.txt /test2/  将test1文件夹下的MinghanSui.txt复制到test2文件夹中
hadoop fs -cp /test1/MinghanSui.txt /test4/  将test1文件夹下的MinghanSui.txt复制到test4文件夹中

六、移动文件

hadoop fs -mv /test1/MinghanSui.txt /test3/ 将hdfs中test1文件夹下MinghanSui.txt文件移动到test3文件夹中

七、删除文件或文件夹

hadoop fs -rm /test2/Minghansui.txt 删除hdfs中test2文件夹中的MinghanSui.txt文件
hadoop fs -rm -r test2              删除test2文件夹
hadoop fs -rmr /test2               删除test2文件夹(不推荐)

八、下载文件

hadoop fs -get /test3/MinghanSui.txt /home/hadoop          将hdfs中的MinghanSui.txt文件复制到本地hadoop文件夹中
hadoop fs -moveToLocal /test3/MinghanSui.txt /home/hadoop  将hdfs中的MinghanSui.txt文件剪切到本地hadoop文件夹中
hadoop fs -getmerge /test3/MinghanSui.txt /test4/MinghanSui.txt /home/hadoop/2.txt 
将hdfs中的两个MinghanSui.txt文件合并生成成a.txt到本地dadoop文件夹中

九、查看文件

hadoop fs -cat /test3/MinghanSui.txt   查看MinghanSui.txt内容
hadoop fs -tail /test3/MinghanSui.txt  查看MinghanSui.txt内容
hadoop fs -text /test3/MinghanSui.txt  查看MinghanSui.txt内容

十、统计文件数量

hadoop fs -count /test3  统计hdfs中test3文件夹中的文件数量

 

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部