Hadoop 空间不足怎么办?

原创
2017/05/05 09:34
阅读数 454

Hadoop 空间不足,hive首先就会没法跑了,进度始终是0%。

解决的办法,自然是清理空间。但是清理空间也要有步骤。

  • 检查总体情况

    $ hadoop dfsadmin -report

  • 检查每个目录

    $ hdfs dfs -du -h /

  • 清理

    • 一种是先清理数据表,去hive,impala里删除表

    但是这个并无法清理干净

    • 清理完表之后,删除文件

      删除的时候要注意使用-skipTrash选项,否则不会马上删除,而是转到垃圾桶了。

如何设置配额

hdfs空间不足,还可以给用户设置空间配额,避免每个用户占用的空间过大。具体命令如下

#设置配额
    hdfs dfsadmin -setSpaceQuota 2G /user/tom
#清除配额
    hdfs dfsadmin -clrSpaceQuota /user/tom
#察看配额
    hdfs dfs -count -q -v  /user/tom
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部