文档章节

使用lsof处理文件恢复、句柄以及空间释放问题

chirnson
 chirnson
发布于 2014/08/02 03:39
字数 1379
阅读 2128
收藏 11
点赞 1
评论 3

曾经在生产上遇到过一个df 和 du出现的结果不一致的问题,为了排查到底是哪个进程占用了文件句柄,导致空间未释放,首先在linux上面,一切皆文件,这个问题可以使用lsof这个BT的命令来处理(这个哈还可以来查询文件句柄泄露问题,应用程序的进程未关闭文件句柄)

1.文件句柄以及空间释放问题

注:在生产环境常见的问题就是,有维护人员或者开发同事使用tail命令实时查看日志。然后另外的人使用rm命令删除,这有就好导致磁盘空间不会真正的释放,因为你要删除的文件,还有进程在使用,文件句柄没有释放,即tail 模拟场景1:

你创建一个文件testfile

touch testfile 然后使用tail命令一直查看

tail testfile 这个时候另外一个同事使用rm命令来删除了该文件

rm testfile 正式使用lsof命令排查

如果你知道文件名,那就可以直接使用如下命令

lsof |grep testfile 但是如果你不知道是哪个文件,或者是很多文件都有这样的情况,那你需要使用如下命令

lsof |grep deleted 注:这个deleted表示该已经删除了的文件,但是文件句柄未释放,这个命令会把所有的未释放文件句柄的进程列出来 注:有些系统你没有配置环境变量的话,直接lsof是会报错没有该命令,你可以直接/usr/bin/lsof 或者是/usr/sbin/lsof,根据你的系统环境自己查看

然后上面命令出来的结果会出来如下结果

root 123 12244 0 14:47 pts/1 01:02:03 tail testfile 然后你可以使用kill 命令来释放文件句柄从而释放空间

kill 123 2. 文件恢复问题

在说明问题之前,先介绍下一些文件的基本概念:

文件实际上是一个指向inode的链接, inode链接包含了文件的所有属性, 比如权限和所有者, 数据块地址(文件存储在磁盘的这些数据块中). 当你删除(rm)一个文件, 实际删除了指向inode的链接, 并没有删除inode的内容. 进程可能还在使用. 只有当inode的所有链接完全移去, 然后这些数据块将可以写入新的数据. proc文件系统可以协助我们恢复数据. 每一个系统上的进程在/proc都有一个目录和自己的名字, 里面包含了一个fd(文件描述符)子目录(进程需要打开文件的所有链接). 如果从文件系统中删除一个文件, 此处还有一个inode的引用: /proc/进程号/fd/文件描述符 你需要知道打开文件的进程号(pid)和文件描述符(fd). 这些都可以通过lsof工具方便获得, lsof的意思是”list open files, 列出(进程)打开的文件”. 然后你将可以从/proc拷贝出需要恢复的数据. 1.创建一个测试文件并且备份下,方面后续验证

touch testfile cp testfile testfile.backup.2014 2.查看文件的相关信息

stat testfile

File: 'testfile' Size: 343545 Blocks: 241 IO Block: 4096 regular file Device: fd00h/64768d Inode: 361579 Links: 1 Access: (0664/-rw-rw-r–) Uid: ( 505/ zhaoke) Gid: ( 505/ zhaoke) Access: 2014-11-09 15:00:38.000000000 +0800 Modify: 2014-11-09 15:00:34.000000000 +0800 Change: 2014-04-09 15:00:34.000000000 +0800

没问题, 继续下面工作:

3.删除文件

rm testfile

4.查看文件

ls -l testfile ls: testfile: No such file or directory stat testfile stat: cannot stat 'testfile': No such file or directory testfile文件删除了,但不要终止仍在使用文件的进程, 因为一旦终止, 文件将很难恢复.

现在我们开始找回数据之旅,先使用lsof命令查看下

lsof | grep testfile tail 5317 root 4r REG 253,0 343545 361579 /root/testfile (deleted) 第一个纵行是进程的名称(命令名), 第二纵行是进程号(PID), 第四纵行是文件描述符

现在你知道5317进程仍有打开文件, 文件描述符是4. 那我们开始从/proc里面拷贝出数据.

你可能会考虑使用cp -a, 但实际上没有作用, 你将拷贝的是一个指向被删除文件的符号链接:

ls -l /proc/5317/fd/4 lr-x—— 1 root root 64 09 15:00 /proc/5317/fd/4 -> /root/testfile (deleted) 使用cp -a命令测试恢复

cp -a /proc/5317/fd/4 testfile.backup 使用ls命令来查看

ls -l testfile.backup lrwxrwxrwx 1 root root 29 09 15:02 testfile.backup -> /roor/testfile (deleted)

通过上面的命令我们发现,使用cp -a命令,其恢复的是一个指向被删除文件的符号链接

使用file命令分别查看文件和文件描述符

1.查看文件 file testfile.backup testfile.backup: broken symbolic link to '/root/testfile (deleted)' 2.查看文件描述符 file /proc/5317/fd/4

/proc/5317/fd/4: broken symbolic link to '/root/myfile (deleted)' 根据上面的file结果,可以使用cp拷贝出文件描述符数据到一个文件中,如下:

cp /proc/5317/fd/4 testfile.new 使用上面的命令恢复后,我们需要最终确认一下文件是否恢复,以及文件内容是否正确:

ls -l testfile.new 然后把新旧的两个文件对比

diff testfile.new myfile.backup

© 著作权归作者所有

共有 人打赏支持
chirnson
粉丝 4
博文 23
码字总数 24709
作品 0
深圳
高级程序员
加载中

评论(3)

m
mars_lion
谢谢
chirnson
chirnson
0,谢谢
keyganker
keyganker
很好的文章!
处理Linux系统下已删除文件继续占用空间问题

在Linux中,当我们使用rm在linux上删除了大文件,但是如果有进程打开了这个大文件,却没有关闭这个文件的句柄,那么linux内核还是不会释放这个文件的磁盘空间,最后造成磁盘空间占用100%,整...

妙曼 ⋅ 2017/08/17 ⋅ 0

Tomcat 句柄泄露处理

最近,上线一个应用后。 发现异常:java.net.SocketException: Too many open files 导致tomcat down 掉了。 在linux下,通过lsof -p pid |wc -l 来查看占用句柄的总数 发现占用句柄的数量已...

have2cow ⋅ 2013/10/09 ⋅ 0

wget任务被kill之后tmp目录空间一直不释放

在一次下载一个200多G的大文件时,使用如下方式进行下载,已经下载了180G wget -c xxxxx.tar.gz -O xxxx.tar.gz 因为当时机器上做的操作很多,机器有点卡,于是就手工kill掉这个任务,等空闲...

archivelog ⋅ 2017/04/23 ⋅ 0

分析Tomcat类加载机制触发的Too many open files问题

  分析Tomcat类加载机制触发的Too many open files问题   Too many open files意思是打开文件太多了那么碰到Tomcat类加载机制触发的Too many open files问题要如何来处理,我们这边一起来...

时间财富网 ⋅ 2016/11/24 ⋅ 1

linux 系统监控、诊断工具之 lsof 用法简介

1、lsof 简介 lsof 是 linux 下的一个非常实用的系统级的监控、诊断工具。 它的意思是 List Open Files,很容易你就记住了它是 “ls + of”的组合~ 它可以用来列出被各种进程打开的文件信息,...

xrzs ⋅ 2013/08/19 ⋅ 8

磁盘空间满问题排查方法

分析: 导致该问题的可能原因包括:1、磁盘分区空间使用率达到百分之百。2、 磁盘分区inode使用率达到百分之百。3、僵尸文件:已删除文件因句柄被占用未释放导致相应空间未释放。4、 挂载点覆...

wakefast ⋅ 2017/12/27 ⋅ 0

lsof 命令用法:查看已删除空间却没有释放的进程

查看已经删除的文件,空间有没有释放,没有的话kill掉pid lsof -n |grep deleted lsof简介lsof(list open files)是一个列出当前系统打开文件的工具。 问题描述: 服务报警根分区使用率超过9...

模范生 ⋅ 2017/06/19 ⋅ 0

weblogic too many open files 问题解决集锦

Too many open files> weblogic产生这个错误以后,就会拒绝服务,这时通过IE已经访问不了了。所以接下来就会出现apache报下面的错误: [Tue May 30 13:00:57 2006] [error] CONNECTION_REFU...

风子 ⋅ 2012/08/14 ⋅ 0

Linux下tomcat报错“java.net.SocketException: Too ma...

部署到linux下的tomcat,今天发现包了“java.net.SocketException: Too many open files”,以前从来没有遇到过,在此记录一下: 彻底解决问题的是第三步, 所以,可以直接跳到第三步去看解决...

Zero__One ⋅ 2012/08/02 ⋅ 0

Linux 打开文件数1024限制的原理以及解决办法

linux为redhat服务器版本(非个人版),必须设置的内容 ---------------------------------------------------------------------------- 1、/etc/pam.d/login 添加 session required /lib/......

华宰 ⋅ 2011/05/24 ⋅ 2

没有更多内容

加载失败,请刷新页面

加载更多

下一页

那些证书相关的玩意儿(SSL,X.509,PEM,DER,CRT,CER,KEY,CSR,P12等)

之前没接触过证书加密的话,对证书相关的这些概念真是感觉挺棘手的,因为一下子来了一大堆新名词,看起来像是另一个领域的东西,而不是我们所熟悉的编程领域的那些东西,起码我个人感觉如此,且很长...

颖辉小居 ⋅ 16分钟前 ⋅ 0

利用有限制通配符提升API灵活性(28)

1、参数化类型是不可变的 List<String> 不是List<Object>的子类,但是二者是有联系的 利用有限制的通配符类型处理类似情况 List<? extends Object>(生产者) Collection<? super E>(消费者......

职业搬砖20年 ⋅ 22分钟前 ⋅ 0

ssm框架 +bootstrap分页

这里有两种方式 方式一:自己写分页 方式二:使用插件PageHelper 1.自己写分页 1.1 效果 1.2 实现过程 1.2.1 创建分页公共类 //---------------------------1.属性-------------------------...

Lucky_Me ⋅ 29分钟前 ⋅ 0

Istio

helm template install/kubernetes/helm/istio --name istio --namespace istio-system > $HOME/istio.yaml after $ kubectl create namespace istio-system$ kubectl create -f $HOME/ist......

openthings ⋅ 30分钟前 ⋅ 0

内核线程、轻量级进程、用户线程

线程与进程概念 在现代操作系统中,进程支持多线程。 进程是资源管理的最小单元; 线程是程序执行的最小单元。 即线程作为调度和分配的基本单位,进程作为资源分配的基本单位 一个进程的组成...

117 ⋅ 35分钟前 ⋅ 0

elasticsearch2.4.6升级为elasticsearch-5.5.0的经历

将elasticsearch-5.5.0 中的配置 path.data 指向原来的数据路径 即 path.data: /usr/local/src/elasticsearch-2.4.6/data 注意: elasticsearch-5.5.0 需要将jdk版本升级到1.8...

晨猫 ⋅ 35分钟前 ⋅ 1

lvm讲解 磁盘故障小案例

1

oschina130111 ⋅ 39分钟前 ⋅ 0

那些提升开发人员工作效率的在线工具

本文转载自公众号 Hollis 作为一个Java开发人员,经常要和各种各样的工具打交道,除了我们常用的IDE工具以外,其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。 Hollis偏爱使用...

时刻在奔跑 ⋅ 52分钟前 ⋅ 0

restful风格 实现DELETE PUT请求 的web.xml的配置

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.HttpStatus; import org.springframework.http.ResponseEntity; import org.springframe......

泉天下 ⋅ 57分钟前 ⋅ 0

Shell数组

Shell数组 Shell在编程方面比Windows批处理强大很多,无论是在循环、运算。 bash支持一维数组(不支持多维数组),并且没有限定数组的大小。类似与C语言,数组元素的下标由0开始编号。获取数...

蜗牛奔跑 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部