文档章节

删除hdfs中大小为0的文件

aibati2008
 aibati2008
发布于 2017/03/09 16:14
字数 146
阅读 33
收藏 0

发现hive表的目录下有很多大小为0的文件,怀疑可能是数据偏移或者reduce生成过多造成的。简单的解决方法是跑hive脚本前设置mapred.reduce.tasks=1试试。

 

如果解决不了或者找不到原因,还是要试着清除这些文件在hdfs上。长期存在可能影响集群读写性能。

命令如下,清理目录和文件前缀就自己自定义了:

hadoop fs -lsr /user/hive/warehouse/ | grep part- | awk '{ if ($5 == 0) print $8 }' | xargs hadoop fs -rm

© 著作权归作者所有

共有 人打赏支持
aibati2008
粉丝 13
博文 86
码字总数 61386
作品 0
成都
技术主管
私信 提问
Hadoop笔记(1)——hdfs命令访问方式

之前的CDH5.8.3安装部署就算是前菜。今天开始写正式的系列第一篇,给自己个完整的笔记整理。 其实目前随便找一本hadoop的书,都会在HDFS的章节把hadoop dfs的命令从查看、推拉、增删、复制剪...

HappyBKs
2016/12/25
158
0
Hadoop2.x 常用命令

基本命令格式为:hdfs dfs -cmd <args> 1. -ls path 列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。 2. -ls -R path 与ls相似,但递归地显示子目录下的内容。 3. -du p...

山哥
2016/09/23
10
0
hdfs的常用命令

Hadoop2 HDFS shell命令 1. hdfs dfs -appendToFile <localsrc> ... <dst> 可同时上传多个文件到HDFS里面 2. hdfs dfs -cat URI [URI ...] 查看文件内容 3. hdfs dfs -chgrp [-R] GROUP URI ......

岁月留痕
2015/12/08
63
0
记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复 说明: 因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir 修改前的配置 hbase.rootdir hdfs://masters/hbase1 修改后的配置 hbase.rootdir hdfs://m...

断臂人
2018/06/15
0
0
hadoop shell命令字典详解

可以带着下面问题来阅读: 1.chmod与chown的区别是什麽? 2.cat将路径指定文件的内容输出到哪里? 3.cp能否是不同之间复制? 4.hdfs如何查看文件大小? 5.hdfs如何合并文件? 6.如何显示当前...

ChinaUnicom110
2017/09/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

声学所实验室的论文

https://hccl.ioa.ac.cn/output/papers/

shengjuntu
26分钟前
0
0
Mysql(Mariadb)数据库主从复制

Mysql主从复制的实现原理图大致如下: MySQL之间数据复制的基础是以二进制日志文件(binary log file)来实现的,一台MySQL数据库一旦启用二进制日志后,其作为master,它数据库中所有操作都...

linux-tao
今天
2
0
Mysql(Mariadb)数据库主从复制

Mysql主从复制的实现原理图大致如下: MySQL之间数据复制的基础是以二进制日志文件(binary log file)来实现的,一台MySQL数据库一旦启用二进制日志后,其作为master,它数据库中所有操作都...

Linux就该这么学
今天
2
0
Mysql(Mariadb)数据库主从复制

Mysql主从复制的实现原理图大致如下: MySQL之间数据复制的基础是以二进制日志文件(binary log file)来实现的,一台MySQL数据库一旦启用二进制日志后,其作为master,它数据库中所有操作都...

xiangyunyan
今天
2
0
Android 贝塞尔曲线实践——旋转的七色花朵

一、关于贝塞尔曲线 在工业设计方面贝塞尔曲线有很多用途,同样,在Android中,贝塞尔曲线结合Path类可以实现更复杂的图形,这里我们给一个案例,来实现一种旋转的花朵。对于贝赛尔曲线的理解...

IamOkay
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部