文档章节

浅谈linux ulimit命令(Too many open files 问题的解决)

我爱睡觉
 我爱睡觉
发布于 2017/06/24 16:07
字数 1581
阅读 32
收藏 0

第一部分:(主要是命令,查看最大打开限制数量,不能解决根本问题)

 

Linux下,我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。

   对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如果象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值,就会提示 “too manyfiles open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?下面一段小脚本可以帮你查看:

#lsof -n |awk '{print $2}'|sort|uniq-c |sort -nr|more   

在系统访问高峰时间以root用户执行上面的脚本,可能出现的结果如下:  

>131 24204  

   >57 24244  

     >57 24231  

     >56 24264  

其中第一列是打开的文件句柄数量,第二列是进程号。得到进程号后,我们可以通过ps命令得到进程的详细内容。

#ps -aef|grep 24204  

> mysql    24204 24162 99 16:15 ?        00:24:25 /usr/sbin/mysqld  

哦,原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量,远远底于系统默认值1024

但是如果系统并发特别大,尤其是squid服务器,很有可能会超过1024。这时候就必须要调整系统参数,以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下,以root用户运行以下命令:

#ulimit -HSn 4096  

以上命令中,H指定了硬性大小,S指定了软性大小,n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096,毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后,系统重启后,又会恢复默认值。如果想永久保存下来,可以修改 /etc/profile 文件,把上面命令加到最后。=================================================================================

Too many open files经常在使用linux的时候出现,大多数情况是您的程序没有正常关闭一些资源引起的,所以出现这种情况,请检查io读写,socket通讯等是否正常关闭。

如果检查程序没有问题,那就有可能是linux默认的open files值太小,不能满足当前程序默认值的要求,比如数据库连接池的个数,tomcat请求连接的个数等。。。 
查看当前系统open files的默认值,可执行: 

[root@pororo  script]# ulimit -a   

core filesize          (blocks,-c) 0  

data segsize           (kbytes,-d) unlimited   

schedulingpriority             (-e) 0  

filesize               (blocks,-f) unlimited   

pendingsignals                 (-i) 128161  

max lockedmemory       (kbytes, -l) 32  

max memorysize         (kbytes, -m)unlimited   

openfiles                      (-n) 800000  

pipesize            (512 bytes,-p) 8  

POSIX messagequeues     (bytes, -q) 819200  

real-timepriority              (-r) 0  

stacksize              (kbytes,-s) 10240  

cputime               (seconds,-t) unlimited   

max userprocesses              (-u) 128161  

virtualmemory          (kbytes, -v)unlimited   

filelocks                      (-x)unlimited  

 

第二部分:(解决的真正方法)

 

功能说明:控制shell程序的资源。

语  法:ulimit [-aHS][-c <core文件上限>][-d <数据节区大小>][-f <文件大小>][-m <内存大小>][-n <文件数目>][-p <缓冲区大小>][-s <堆叠大小>][-t <CPU时间>][-u <程序数目>][-v <虚拟内存大小>]

 

补充说明:ulimitshell内建指令,可用来控制shell执行程序的资源。

参  数:

-a  显示目前资源限制的设定。
-c <core
文件上限 设定core文件的最大值,单位为区块。
-d <
数据节区大小 程序数据节区的最大值,单位为KB

-f <文件大小shell所能建立的最大文件,单位为区块。
-H 
 设定资源的硬性限制,也就是管理员所设下的限制。
-m <
内存大小 指定可使用内存的上限,单位为KB
-n <
文件数目 指定同一时间最多可开启的文件数。
-p <
缓冲区大小 指定管道缓冲区的大小,单位512字节。

-s <堆叠大小 指定堆叠的上限,单位为KB
-S 
 设定资源的弹性限制。

 
-t <CPU
时间 指定CPU使用时间的上限,单位为秒。
-u <
程序数目 用户最多可开启的程序数目。

-v <虚拟内存大小 指定可使用的虚拟内存上限,单位为KB 

 

ulimit -a 用来显示当前的各种用户进程限制。

 Linux对于每个用户,系统限制其最大进程数。为提高性能,可以根据设备资源情况,设置各linux 用户的最大进程数,下面我把某linux用户的最大进程数设为10000个:

# ulimit -u 10000

 对于需要做许多 socket 连接并使它们处于打开状态的 Java 应用程序而言,  最好通过使用 ulimit -n xx 修改每个进程可打开的文件数,缺省值是 1024    

# ulimit -n 4096 将每个进程可以打开的文件数目加大到4096,缺省为1024

其他建议设置成无限制(unlimited)的一些重要设置是:

数据段长度:ulimit -d unlimited     

最大内存大小:ulimit -m unlimited
堆栈大小:ulimit -s unlimited
CPU
时间:ulimit -t unlimited

虚拟内存:ulimit -v unlimited

我们公司服务器需要调整ulimitstack size 参数调整为unlimited 无限,使用ulimit -s unlimited时只能在当时的shell见效,重开一个shell就失效了。。于是得在/etc/profile 的最后面添加ulimit -s unlimited 就可以了,source /etc/profile使修改文件生效。

PS:如果你碰到类似的错误提示
ulimit: max user processes: cannot modify limit:
不允许的操作_

ulimit: open files: cannot modify limit: 不允许的操作
为啥root用户是可以的?普通用户又会遇到这样的问题?

看一下/etc/security/limits.conf大概就会明白。
linux
对用户有默认的ulimit限制,而这个文件可以配置用户的硬配置和软配置,硬配置是个上限。超出上限的修改就会出不允许的操作这样的错误。在limits.conf加上

*        soft    noproc  10240
*        hard    noproc  10240
*        soft    nofile  10240
*        hard    nofile  10240

就是限制了任意用户的最大线程数和文件数为10240

本文转载自:http://blog.csdn.net/rachel_luo/article/details/8659857

我爱睡觉
粉丝 3
博文 2120
码字总数 0
作品 0
南昌
私信 提问
JAVA.NET.SOCKETEXCEPTION: TOO MANY OPEN FILES

最近随着网站访问量的提高把web服务器移到linux下了,在移服务器的第二天,tomcat频繁的报 java.net.SocketException: Too many open files错误,错误日志达到了100多兆,郁闷了,windows上运...

BryceLoski
05/23
4
0
JAVA.NET.SOCKETEXCEPTION: TOO MANY OPEN FILES解决方法

最近随着网站访问量的提高把web服务器移到linux下了,在移服务器的第二天,tomcat频繁的报 java.net.SocketException: Too many open files错误,错误日志达到了100多兆,郁闷了,windows上运...

SunnyWu
2014/11/25
758
0
Linux下tomcat报错“java.net.SocketException: Too ma...

部署到linux下的tomcat,今天发现包了“java.net.SocketException: Too many open files”,以前从来没有遇到过,在此记录一下: 彻底解决问题的是第三步, 所以,可以直接跳到第三步去看解决...

Zero__One
2012/08/02
651
0
MySQL启动报“[Warning] Buffered warning: Changed limits: max_open_files: 1024 (requested 15000)”

MySQL启动报“[Warning] Buffered warning: Changed limits: max_open_files: 1024 (requested 15000)” 2016年04月20日 16:19:50 阅读数:5504 启动MySQL服务的时候,报下面警告: [Warning......

linjin200
2018/04/29
413
0
修改linux最大文件句柄数--ulimit -a

最近服务器并发很高,昨天晚上突然好几个服务同时挂了,查找日志发现报错:“too many open files”,在网上也找了些资料,最后通过修改句柄数,解决了问题。 大家知道在linux服务器大并发调...

kou_hao
2018/06/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部