文档章节

HDFS 的Trash回收站功能的配置、使用

cloud-coder
 cloud-coder
发布于 2013/11/27 13:25
字数 1304
阅读 9.1K
收藏 4

文件的删除和恢复 

       和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在NameNode中开启了一个后台线程Emptier,这个线程专门管理和监控系统回收站下面的所有文件/目录,对于已经超过生命周期的文件/目录,这个线程就会自动的删除它们,不过这个管理的粒度很大。另外,用户也可以手动清空回收站,清空回收站的操作和删除普通的文件目录是一样的,只不过HDFS会自动检测这个文件目录是不是回收站,如果是,HDFS当然不会再把它放入用户的回收站中了

       根据上面的介绍,用户通过命令行即HDFS的shell命令删除某个文件,这个文件并没有立刻从HDFS中删除。相反,HDFS将这个文件重命名,并转移到操作用户的回收站目录中(如/user/hdfs/.Trash/Current, 其中hdfs是操作的用户名)。如果用户的回收站中已经存在了用户当前删除的文件/目录,则HDFS会将这个当前被删除的文件/目录重命名,命名规则很简单就是在这个被删除的文件/目录名后面紧跟一个编号(从1开始知道没有重名为止)。

        当文件还在/user/hdfs/.Trash/Current目录时,该文件可以被迅速地恢复。文件在/user/hdfs/.Trash/Current中保存的时间是可配置的,当超过这个时间,Namenode就会将该文件从namespace中删除。 文件的删除,也将释放关联该文件的数据块。注意到,在文件被用户删除和HDFS空闲的增加之间会有一个等待时间延迟。
    当被删除的文件还保留在/user/hdfs/.Trash/Current目录中的时候,如果用户想恢复这个文件,可以检索浏览/user/hdfs/.Trash/Current目录并检索该文件。/user/hdfs/.Trash/Current目录仅仅保存被删除 文件的最近一次拷贝。/user/dfs/.Trash/Current目录与其他文件目录没有什么不同,除了一点:HDFS在该目录上应用了一个特殊的策略来自动删除文件,目前的默认策略是 删除保留超过6小时的文件,这个策略以后会定义成可配置的接口。

      还有,NameNode是通过后台线程(默认是org.apache.hadoop.fs.TrashPolicyDefault.Emptier,也可以通过fs.trash.classname指定TrashPolicy类)来定时清空所有用户回收站中的文件/目录的,它每隔interval分钟就清空一次用户回收站。具体的操作步骤是,先检查用户回收站目录/user/用户名/.Trash下的所有yyMMddHHmm形式的目录,然后删除寿命超过interval的目录,最后将当前存放删除的文件/目录的回收站目录/user/用户名/.Trash/current重命名为一个/user/用户名/.Trash/yyMMddHHmm.

      从这个回收线程(Emptier)的实现可以看出,被用户用命令删除的文件最多可在其回收站中保存2*interval分钟,最少可保存interval分钟,过了这个有效期,用户删除的文件就永远也不可能恢复了

配置

每个节点(不仅仅是主节点)上添加配置 /etc/hadoop/conf/core-site.xml,增加如下内容

<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

注意:当用户写程序调用HDFS的API时,NameNode并不会把删除的文件或目录放入回收站Trash中,而是需要自己实现相关的回收站逻辑,见如下的代码

import java.io.IOException;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.Trash;

public class RMFile {
	private final static Log log = LogFactory.getLog(RMFile.class);
	private final static Configuration conf = new Configuration();

	/**
	 * Delete a file/directory on hdfs
	 * 
	 * @param path
	 * @param recursive
	 * @return
	 * @throws IOException
	 */
	public static boolean rm(FileSystem fs, Path path, boolean recursive)
			throws IOException {
		log.info("rm: " + path + " recursive: " + recursive);
		boolean ret = fs.delete(path, recursive);
		if (ret)
			log.info("rm: " + path);
		return ret;

	}

	/**
	 * Delete a file/directory on hdfs,and move a file/directory to Trash
	 * @param fs
	 * @param path
	 * @param recursive
	 * @param skipTrash
	 * @return
	 * @throws IOException
	 */
	public static boolean rm(FileSystem fs, Path path, boolean recursive,
			boolean skipTrash) throws IOException {
		log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash);
		if (!skipTrash) {
			Trash trashTmp = new Trash(fs, conf);
			if (trashTmp.moveToTrash(path)) {
				log.info("Moved to trash: " + path);
				return true;
			}
		}
		boolean ret = fs.delete(path, recursive);
		if (ret)
			log.info("rm: " + path);
		return ret;

	}

	public static void main(String[] args) throws IOException {
		conf.set("fs.default.name", "hdfs://data2.kt:8020/");
		FileSystem fs = FileSystem.get(conf);
		RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false);
	}

}

执行程序后,发现使用程序删除的文件,也到了用户的回收站目录中,见红框内


© 著作权归作者所有

cloud-coder
粉丝 249
博文 193
码字总数 141277
作品 0
广州
架构师
私信 提问
加载中

评论(0)

【hadoop】15.HDFS-其他功能

简介 本章节我们讲讲HDFS的一些其他杂项功能,他们都是作为辅助功能而存在的。 1、集群间数据拷贝 我们之间使用scp实现了两个远程主机之间的文件复制,该方式可以实现文件的推拉。 我们也可以...

Areya
2019/01/12
24
0
HDFS 恢复某时刻删除的文件

Hadoop有一个“垃圾回收站”的功能,用于恢复在过去一段时间内被删除文件。若某个文件被删除了多次,你还可以恢复具体哪一次删除的文件。该功能默认是关闭状态,若想开启,需要在$HADOOP_HOM...

ericquan8
2015/11/01
279
0
大数据之---hadoop常用命令大全终极篇

软件环境 (操作环境root安装启动的hadoop) hadoop fs == hdfs dfs 将文件上传至hadoop的根目录/下载至本地 hadoop dfs -put filename / hadoop dfs -get /filename # '/'不是Linux的根目录,......

ycwyong
2018/05/16
0
0
三种恢复 HDFS 上删除文件的方法

我们每天都可能会操作 HDFS 上的文件,这就很难避免误操作,比如比较严重的误操作就是删除文件。本文针对这个问题提供了三种恢复误删除文件的方法,希望对大家的日常运维有所帮助。 通过垃圾...

加米谷大数据
2018/06/13
20
0
hive表复制和HDFS回收站清除

hive表复制 1、非分区表的复制 跟一般sql语句一样。 2、分区表的复制 先复制源表的表结构 再插入分区数据,如: 注意事项: 1.动态分区的字段,需要写在select语句中所有字段的最后 2.hive需...

abc200941410128
03/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Netty:初识Netty

前文总结了NIO的内容,有了NIO的一些基础之后,我们就可以来看下Netty。Netty是Java领域的高性能网络传输框架,RPC的技术核心就是网络传输和序列化,所以Netty给予了RPC在网络传输领域巨大的...

北柠Java
5分钟前
13
0
2.4 String引用变量与对象

2.4 引用变量与对象 A aa; 这个语句声明一个类A的引用变量aa【我们常常称之为句柄】,而对象一般通过new创建,所以aa仅仅是一个引用变量,它不是对象。

Wannabe-
5分钟前
15
0
笔记:每周打折验收单品

我们在每周的星期一,会把上一周(上周的星期一起至星期天)所有打折单品的记录汇总到一个Excel模板(如:4月份第1周品控特采验收单品周报.xlsm),则可生成一下报告,供发送邮件周报(4月份...

tengyulong
10分钟前
7
0
从数组中找出相加之和等于某个特定值的两个数

从数组中找出相加之和等于某个特定值的两个数: 方法1,两次循环;方法二,一次循环 ''' Find out two numbers from num which add up to 'target''''def solution(nums, tar......

SVD
16分钟前
13
0
RabbitMQ学习:RabbitMQ的六种工作模式之简单和工作模式(三)

RabbitMQ的六种工作模式 首先开启虚拟机上的rabbitmq服务器 # 启动服务systemctl start rabbitmq-server 一、简单模式 RabbitMQ是一个消息中间件,你可以想象它是一个邮局。当你把信件放到...

其乐m
27分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部