文档章节

linux 系统监控、诊断工具之 lsof 用法简介

大数据之路
 大数据之路
发布于 2013/08/19 00:35
字数 2256
阅读 14225
收藏 382

1、lsof 简介

lsof 是 linux 下的一个非常实用的系统级的监控、诊断工具。
它的意思是 List Open Files,很容易你就记住了它是 “ls + of”的组合~
它可以用来列出被各种进程打开的文件信息,记住:linux 下 “一切皆文件”
包括但不限于 pipes, sockets, directories, devices, 等等。
因此,使用 lsof,你可以获取任何被打开文件的各种信息。

只需输入 lsof 就可以生成大量的信息,因为 lsof 需要访问核心内存和各种文件,所以必须以 root 用户的身份运行它才能够充分地发挥其功能。

lsof 的示例输出:

root@YLinux:~/lab 0# lsof
COMMAND     PID   TID       USER   FD      TYPE     DEVICE SIZE/OFF       NODE NAME
systemd       1             root  cwd       DIR        8,6     4096          2 /
systemd       1             root  rtd       DIR        8,6     4096          2 /
systemd       1             root  txt       REG        8,6  2273340    1834909 /usr/lib/systemd/systemd
systemd       1             root  mem       REG        8,6   210473    1700647 /lib/libnss_files-2.15.s
...

 

2、lsof 常用用法

2.1 监控打开的文件、设备

查看文件、设备被哪些进程占用

# lsof /dev/tty1
COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash       1770 jian    0u   CHR    4,1      0t0 1045 /dev/tty1
bash       1770 jian    1u   CHR    4,1      0t0 1045 /dev/tty1
bash       1770 jian    2u   CHR    4,1      0t0 1045 /dev/tty1
bash       1770 jian  255u   CHR    4,1      0t0 1045 /dev/tty1
startx     1845 jian    0u   CHR    4,1      0t0 1045 /dev/tty1
startx     1845 jian    1u   CHR    4,1      0t0 1045 /dev/tty1
...

 

2.2 监控文件系统

指定目录、挂载点,可以看到有哪些进程打开了其下的文件:

# lsof /data/
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash    15983 jian  cwd    DIR    8,5     4096 8252 /data/backup
...

 

这在 umount 某个文件系统失败时非常有用(通常会报该 FS is busy)。

列出某个目录(挂载点 如 /home 也行)下被打开的文件:

# lsof +D /var/log/

COMMAND   PID   USER  FD   TYPE DEVICE SIZE/OFF   NODE NAME
rsyslogd  488 syslog   1w   REG    8,1     1151 268940 /var/log/syslog
rsyslogd  488 syslog   2w   REG    8,1     2405 269616 /var/log/auth.log
console-k 144   root   9w   REG    8,1    10871 269369 /var/log/ConsoleKit/history

 

列出被指定进程名打开的文件:

# lsof -c ssh -c init

COMMAND    PID   USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
init         1       root  txt    REG        8,1   124704  917562 /sbin/init
init         1       root  mem    REG        8,1  1434180 1442625 /lib/i386-linux-gnu/libc-2.13.so
init         1       root  mem    REG        8,1    30684 1442694 /lib/i386-linux-gnu/librt-2.13.so
...
ssh-agent 1528 lakshmanan    1u   CHR        1,3      0t0    4369 /dev/null
ssh-agent 1528 lakshmanan    2u   CHR        1,3      0t0    4369 /dev/null
ssh-agent 1528 lakshmanan    3u  unix 0xdf70e240      0t0   10464 /tmp/ssh-sUymKXxw1495/agent.1495

 

2.3 监控进程

指定进程号,可以查看该进程打开的文件:

# lsof -p 2064
COMMAND  PID USER   FD   TYPE     DEVICE SIZE/OFF    NODE NAME
firefox 2064 jian  cwd    DIR        8,6     4096 1571780 /home/jian
firefox 2064 jian  rtd    DIR        8,6     4096       2 /
firefox 2064 jian  txt    REG        8,6    44224 1985670 /usr/lib/firefox-12.0/firefox
firefox 2064 jian  mem    REG        8,6 14707012  925361 /usr/share/fonts/chinese/msyhbd.ttf
firefox 2064 jian  mem    REG        8,6 15067744  925362 /usr/share/fonts/chinese/msyh.ttf
firefox 2064 jian  mem    REG        8,6 16791251 1701681 /usr/share/fonts/wenquanyi/wqy-zenhei.ttc
firefox 2064 jian  mem    REG       0,16 67108904   10203 /dev/shm/pulse-shm-3021850167
...

 

当你想要杀掉某个用户所有打开的文件、设备,你可以这样:

kill -9 `lsof -t -u lakshmanan`

此处 -t 的作用是单独的列出 进程 id 这一列。

关于杀死进程的 4 种方式,请参考:

http://www.thegeekstuff.com/2009/12/4-ways-to-kill-a-process-kill-killall-pkill-xkill/

2.4 监控网络

查看指定端口有哪些进程在使用(lsof -i 列出所有的打开的网络连接):

# lsof -i:22
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
sshd    1569 root    3u  IPv4  10303      0t0  TCP *:ssh (LISTEN)
sshd    1569 root    4u  IPv6  10305      0t0  TCP *:ssh (LISTEN)
...

 

列出被某个进程打开所有的网络文件:

lsof -i -a -p 234

或者

lsof -i -a -c ssh

 

列出所有 tcp、udp 连接:

lsof -i tcp; 
lsof -i udp;

 

列出所有 NFS 文件:

lsof -N -u lakshmanan -a

 

查看指定网口有哪些进程在使用:

# lsof -i@192.168.1.91
COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
skype      1909 jian   54u  IPv4   9116      0t0  TCP 192.168.1.91:40640->64.4.23.153:40047 (ESTABLISHED)
pidgin     1973 jian    7u  IPv4   6599      0t0  TCP 192.168.1.91:59311->hx-in-f125.1e100.net:https (ESTABLISHED)
pidgin     1973 jian   13u  IPv4   9260      0t0  TCP 192.168.1.91:54447->by2msg3010511.phx.gbl:msnp (ESTABLISHED)
...

 

3、更使用技巧

3.1 监控用戶

查看指定用戶打开的文件(lsof -u ^lakshmanan 可以排除某用户):

# lsof -u messagebus
COMMAND    PID       USER   FD   TYPE     DEVICE SIZE/OFF    NODE NAME
dbus-daem 1805 messagebus  cwd    DIR        8,6     4096       2 /
dbus-daem 1805 messagebus  rtd    DIR        8,6     4096       2 /
dbus-daem 1805 messagebus  txt    REG        8,6  1235361 1834948 /usr/bin/dbus-daemon
dbus-daem 1805 messagebus  mem    REG        8,6   210473 1700647 /lib/libnss_files-2.15.so
dbus-daem 1805 messagebus  mem    REG        8,6   190145 1700642 /lib/libnss_nis-2.15.so
dbus-daem 1805 messagebus  mem    REG        8,6   490366 1700636 /lib/libnsl-2.15.so
...

 

3.2 监控应用程序

查看指定程序打开的文件:

# lsof -c firefox
COMMAND  PID USER   FD   TYPE     DEVICE SIZE/OFF    NODE NAME
firefox 2064 jian  cwd    DIR        8,6     4096 1571780 /home/jian
firefox 2064 jian  rtd    DIR        8,6     4096       2 /
firefox 2064 jian  txt    REG        8,6    44224 1985670 /usr/lib/firefox-12.0/firefox
firefox 2064 jian  mem    REG        8,6 14707012  925361 /usr/share/fonts/chinese/msyhbd.ttf
firefox 2064 jian  mem    REG        8,6 15067744  925362 /usr/share/fonts/chinese/msyh.ttf
firefox 2064 jian  mem    REG        8,6 16791251 1701681 /usr/share/fonts/wenquanyi/wqy-zenhei.ttc
...

 

4、命令模式技巧

4.1 组合逻辑查询条件

只有多个查询条件都满足, 用 "-a" 参数,默认是 -o 。

# lsof -a -c bash -u root
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
bash    1986 root  cwd    DIR    8,6     4096 1701593 /root/lab
bash    1986 root  rtd    DIR    8,6     4096       2 /
bash    1986 root  txt    REG    8,6  1994157 1700632 /bin/bash
bash    1986 root  mem    REG    8,6  9690800  405214 /usr/lib/locale/locale-archive
bash    1986 root  mem    REG    8,6   210473 1700647 /lib/libnss_files-2.15.so

 

4.2 lsof 命令的重复执行模式:

基于给定的参数延时多少秒重复执行 lsof

+r 表示 当没有文件被打开的时候,repeat mode 将自行结束。

-r 表示 不管文件是否存在或者被打开,它都将执行,直到你中断它。

每个循环的输出使用 ‘=======’ 做分隔符,你也可以用 ‘-r’ | ‘+r’ 指定延时时间。

 

# lsof -u lakshmanan -c init -a -r5

=======
=======
COMMAND   PID       USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
inita.sh 2971 lakshmanan  cwd    DIR    8,1     4096  393218 /home/lakshmanan
inita.sh 2971 lakshmanan  rtd    DIR    8,1     4096       2 /
inita.sh 2971 lakshmanan  txt    REG    8,1    83848  524315 /bin/dash
inita.sh 2971 lakshmanan  mem    REG    8,1  1434180 1442625 /lib/i386-linux-gnu/libc-2.13.so
inita.sh 2971 lakshmanan  mem    REG    8,1   117960 1442612 /lib/i386-linux-gnu/ld-2.13.so
inita.sh 2971 lakshmanan    0u   CHR  136,4      0t0       7 /dev/pts/4
inita.sh 2971 lakshmanan    1u   CHR  136,4      0t0       7 /dev/pts/4
inita.sh 2971 lakshmanan    2u   CHR  136,4      0t0       7 /dev/pts/4
inita.sh 2971 lakshmanan   10r   REG    8,1       20  393578 /home/lakshmanan/inita.sh
=======

 

以上输出是前 5 秒没有输出,然后 “inita.sh” 启动后,开始有了输出。

5、最后的技巧

关于磁盘空间告警 df -h --max=1 与 du -hx --max=1 显示不一致的问题,

最常见的的还是下面这种情况:

lsof|grep -i delete

看看被删除的文件:有些删了文件,但是进程没 reload,那些空间还是占用的,你可以理解为类似 windows 下的进程句柄没释放的概念吧~ 

只是 windows 下如果有文件被进程使用,你一般是删不掉的,而 linux 虽然不做删除限制,但却要等到进程使用完文件才能完全释放,以防止进程奔溃,这是操作系统对资源的管理差异吧~
例如 nginx 会有很多临时文件占用了 /tmp 目录,删掉后,依然占用着空间,

此时你可以:

pkill -9 nginx && /etc/init.d/nginx restart

那如果你想更优雅的释放空间,而不是强制重启进程呢?

可以借助 gdb 或者直接清空进程空间所持有的 fd:

let's assume we have a file my10MBfile

$ dd if=/dev/zero of=/tmp/my10MBfile bs=1M count=10
10+0 enregistrements lus
10+0 enregistrements écrits
10485760 octets (10 MB) copiés, 0,0454491 s, 231 MB/s

$ ls -l /tmp/my10MBfile
-rw-r--r-- 1 max max 10485760 avril 23 22:49 /tmp/my10MBfile

$ df -m /tmp
/dev/disk/by-uuid/6835b2fd-971d-420c-ba18-3c729ec2e8a0     14637  9225       4662  67% /
Now i open that file with less (yes it is a binary file... nevermind)

$ less /tmp/my10MBfile &

$ lsof -p $(pidof less) | grep 10MBfile
less    29351  max    4r   REG    8,3 10485760 521464 /tmp/my10MBfile
Then I remove that file

$ rm /tmp/my10MBfile

$ lsof -p $(pidof less) | grep 10MBfile
less    29351  max    4r   REG    8,3 10485760 521464 /tmp/my10MBfile (deleted)

$ df -m /tmp
/dev/disk/by-uuid/6835b2fd-971d-420c-ba18-3c729ec2e8a0     14637  9225       4662  67% /
Still there but deleted, look at the 4th column of the lsof output: File Descriptor number 4 open for Reading (4r)

let's running GDB!

$ gdb -p $(pidof less)

GNU gdb (GDB) 7.4.1-debian
....
Attaching to process 29351
....

(gdb) p close(4)
$1 = 0
(gdb) q
That's it!

$ df -m /tmp
/dev/disk/by-uuid/6835b2fd-971d-420c-ba18-3c729ec2e8a0     14637  9215       4672  67% /
Our 10MB are welcome back :)

$ ls /proc/29351/fd
0  1  2  3

$ ps 29351
29351 pts/0    S+     0:00 less /tmp/my10MBfile
Process is still running.

###############################################
## 如果想要更直接的话可以:
###############################################

find /proc/*/fd -ls 2> /dev/null | grep '(deleted)'
Find all opened file descriptors.

Grep deleted.

StdError to /dev/null

Output:

160448715    0 lrwx------   1 user      user            64 Nov 29 15:34 /proc/28680/fd/113 -> /tmp/vteT3FWPX\ (deleted)
Or you can use awk

find /proc/*/fd -ls 2> /dev/null | awk '/deleted/ {print $11}';

awk output(tested in bash Ubuntu 12.04):

/proc/28680/fd/113
Find and truncate all deleted files(tested in bash Ubuntu 12.04):

(DON'T DO THIS IF YOU DON'T KNOW WHAT YOU DO)

find /proc/*/fd -ls 2> /dev/null | awk '/deleted/ {print $11}' | xargs -p -n 1 truncate -s 0
-p prompt before execute truncate

Better way is manual truncate

Manual truncate:

: > /proc/28680/fd/113
or:

> /proc/28680/fd/113
or:

truncate -s 0 /proc/28680/fd/113
Enjoy ;)


好吧,本文到此结束了,关于 lsof 还有很多很多,不过笔者常用、知道的就这些了,也欢迎给位朋友留言交流分享。

6、refer: 

[1] 使用 lsof 查找打开的文件

http://www.ibm.com/developerworks/cn/aix/library/au-lsof.html

[2] 15 Linux lsof Command Examples (Identify Open Files)

http://www.thegeekstuff.com/2012/08/lsof-command-examples/

[3] 实用的系统工具之 lsof

http://www.ylinux.org/forum/t/276

[4] How to recover free space on deleted files without restarting the referencing processes?

http://serverfault.com/questions/501963/how-to-recover-free-space-on-deleted-files-without-restarting-the-referencing-pr

© 著作权归作者所有

大数据之路
粉丝 1587
博文 516
码字总数 340279
作品 0
武汉
架构师
私信 提问
加载中

评论(8)

mark35
mark35
不错
sjack
sjack
看到过数次,
junsun
junsun
mark
zusie
zusie
哈哈、、、我很喜欢
每天看一点 能学到新知识很哈皮
爱吻
爱吻
不错,这东西我平时也经常用,不过用的没你详细
滔哥
滔哥
好吧,留言
eatapple
eatapple
mark
cszer
cszer
这里有lsof输出列的详细说明:
http://www.cszhi.com/20120327/lsof.html
linux系统监控、诊断工具摘录top IO wait lsof

linux 系统监控、诊断工具之 top 详解 http://my.oschina.net/leejun2005/blog/157910 linux系统监控、诊断工具之 IO wait http://my.oschina.net/leejun2005/blog/355915 linux 系统监控、诊......

极速前行
2015/11/04
0
0
玩转 SHELL 脚本之:linux date 知多少?

最近好久没 update 了,一来是近期有点烦人的私事需要处理,二来是工作有点忙,业余时间还要整个 PPT,搜集素材啥的,非常耗时间。。。好吧,这都是借口,其实是人变懒了。。。⊙﹏⊙ 不过我...

大数据之路
2013/12/21
0
5
Linux编程学习:Linux运维必会的系统工具

×××教育,独家开创“Linux云计算架构师课程”。这是独家的全栈Linux运维课程,包含“公有云+私有云+自动化运维+Python运维开发”等核心开发技术,其中“私有云课程”较同行最全。而值得注...

长沙千锋
2018/04/25
0
0
监控 Linux 性能的 18 个命令行工具

对于系统和网络管理员来说每天监控和调试Linux系统的性能问题是一项繁重的工作。在IT领域作为一名Linux系统的管理员工作5年后,我逐渐认识到监控和保持系统启动并运行是多么的不容易。基于此...

LitStone
2014/02/13
31K
35
超实用的8个Linux命令行性能监测工具

摘要:本文总结了8个非常实用的Linux命令行性能监测工具,这些命令支持所有的Linux系统,不仅可以用于监控系统,还可以发现导致性能问题的原因所在。 对每个系统/网络管理员来说,每天监测L...

Neo_
2012/09/25
0
2

没有更多内容

加载失败,请刷新页面

加载更多

Spark内置图像数据源初探

概述 在Apache Spark 2.4中引入了一个新的内置数据源, 图像数据源.用户可以通过DataFrame API加载指定目录的中图像文件,生成一个DataFrame对象.通过该DataFrame对象,用户可以对图像数据进行简...

阿里云官方博客
10分钟前
2
0
掌握Composer

这一次,真正掌握composer composer是现代PHP的基石 现代高级编程语言,依赖管理工具是必不可少的。Java有Maven,Python有pip,Nodejs有npm, 而在composer出现之前,PHP只有被广为诟病的Pea...

城市之雾
17分钟前
1
0
Shell中的函数、数组、告警系统

20.16/20.17 shell中的函数 20.18 shell中的数组 20.19 告警系统需求分析 20.20 告警系统主脚本 20.21 告警系统配置文件 20.22 告警系统监控项目 20.23/20.24/20.25 告警系统邮件引擎 20.26 ...

tobej
18分钟前
1
0
Win7系统安装hadoop

环境准备 安装JDK1.8,配置JAVA_HOME 下载hadoop_3.1.2,配置HADOOP_HOME 配置HDFS 修改hadoop-env.cmd 增加 set HADOOP_PREFIX=%HADOOP_HOME%set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\ha......

铲平王
21分钟前
1
0
IT兄弟连 Java语法教程 Java语言的其他特性

Java语言中除了非常重要的跨平台特性外,还有如下几个关键特性: ● 语法简单易学 Java语言的语法简单明了,容易掌握,而且是纯面向对象(OOP)的语言,Java语言的简单性主要体现在以下几个方...

老码农的一亩三分地
34分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部