文档章节

Hadoop 空间不足怎么办?

pearma
 pearma
发布于 2017/05/05 09:34
字数 210
阅读 93
收藏 0

Hadoop 空间不足,hive首先就会没法跑了,进度始终是0%。

解决的办法,自然是清理空间。但是清理空间也要有步骤。

  • 检查总体情况

    $ hadoop dfsadmin -report

  • 检查每个目录

    $ hdfs dfs -du -h /

  • 清理

    • 一种是先清理数据表,去hive,impala里删除表

    但是这个并无法清理干净

    • 清理完表之后,删除文件

      删除的时候要注意使用-skipTrash选项,否则不会马上删除,而是转到垃圾桶了。

如何设置配额

hdfs空间不足,还可以给用户设置空间配额,避免每个用户占用的空间过大。具体命令如下

#设置配额
    hdfs dfsadmin -setSpaceQuota 2G /user/tom
#清除配额
    hdfs dfsadmin -clrSpaceQuota /user/tom
#察看配额
    hdfs dfs -count -q -v  /user/tom

© 著作权归作者所有

上一篇: kerberos配置方法
下一篇: Spark R学习心得
pearma
粉丝 3
博文 67
码字总数 26042
作品 0
徐汇
高级程序员
私信 提问
Hadoop 磁盘不足引发的一次“血案”

笔者的hadoop在不间断的写文件的过程中报了如下错误 经查看发现是hadoop所在服务器的磁盘空间不足导致的。 好了,知道问题后笔者需要配置相关参数来避免该问题 1、与mapred.local.dir相关的参...

霖_柒
2016/01/04
1K
0
我要在hadoop集群上存储一个100g的文件,但是我的空间剩余只有20G

我要在hadoop集群上存储一个100g的文件,但是我的空间剩余只有20G,这时候hadoop集群如何做,是像windows一样提示空间不足?还是会先存20G,等扩容。

小山羊
2014/01/02
347
0
Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

测试HDFS 上传文件到hdfs hadoop分布式文件系统 hadoop fs -put /opt/jdk.gz hdfs://master:9000/jdk 5/22/2017------------------------ 17/05/21 22:55:06 WARN util.NativeCodeLoader: Un......

jayronwang
2015/03/30
15
0
hadoop常见异常

1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 原因及解决办法:原因未知。重启可恢复正常 2、Safe mode 现象:分配map reduce任务时产生: 说明Hadoop的NameNode处在安...

o0无忧亦无怖
2015/10/08
45
0
hive check in checkDiagnosticMessage found error

原因 库quota不足,数据写入不进去,请清理一下对应库数据 setQuota指的是对HDFS中某个目录设置文件和目录数量之和的最大值 hdfs dfsadmin -setQuota 5 /user/hadoop/quota setSpaceQuota针对...

Joseph_hu
2018/06/19
7
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
60
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部