文档章节

Freeshell 查明 NFS 经常卡死问题

舒运
 舒运
发布于 2017/06/16 00:07
字数 475
阅读 13
收藏 0
点赞 0
评论 0

2015 年 2 月 3 日,freeshell 出现持续两个小时的 NFS 卡死问题。事实上,2014 年 8 月启用外部磁盘以来,就经常出现持续几十秒甚至几分钟的 NFS 卡死,卡死期间外部磁盘上的 freeshell 无法执行任何操作,有的 freeshell 还会因为磁盘操作超时而关机。之前一直以为是 NFS bug 导致了死锁,没有定位到故障原因,也没能重现。

2 月 3 日,通过 tcpdump 抓包和 strace nfsiod 进程的方法,查明 NFS server not responding 的问题是由于外部硬盘(一块希捷的 2T 绿盘)过于繁忙。

在 NFS 卡死的时段,外部磁盘读的平均延迟可达 600ms,写的平均延迟是 1400ms。当初设置 NFS 挂载参数的时候,我没有考虑到磁盘繁忙的问题,只是想到了网络延迟不应当超过 1 秒,于是就设置了超时 timeo=10,表示 1 秒超时。一个 NFS 请求可能需要分解为多个磁盘读请求,这些请求的时间之和很可能超过 1 秒,也就是大部分读写请求还没来得及发给磁盘就超时了,形成了 NFS 服务器失去响应的假象。

下面是 早先的挂载参数
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=10,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

现将超时修改成 30 秒(timeo=300)。
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=300,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

2 月 3 日已经修改 fstab,但由于挂载着的 NFS 不能修改挂载参数(见 man nfs),需要关闭所有外部磁盘上的虚拟机才能重新挂载 NFS。2 月 4 日刚好 1 号节点挂了,于是把所有其他节点也重启了一遍,NFS 参数就更新了。

© 著作权归作者所有

共有 人打赏支持
舒运
粉丝 7
博文 213
码字总数 510016
作品 0
深圳
中科大 LUG 服务器遭受大规模网络攻击

自6月1日晚开始,中科大的LUG服务器遭受大规模攻击。包括开源软件镜像在内的多个服务出现故障。6月3日,镜像首页提示用户对下载的文件进行checksum校验,官方建议切换至其他软件源或谨慎使用...

oschina ⋅ 2015/06/05 ⋅ 36

如何确定是程序响应慢还是网络慢?

现在有一台主服务器,仅仅只部署了nginx服务,底下有若干台web服务器用内网相连,外网都是访问这台主服务器 最近总出现问题发现经常卡死,无响应 在服务器上添加一个静态文件,直接通过nginx...

speedhao ⋅ 2016/08/31 ⋅ 4

Windows补丁再次惹祸了 卡住用户电脑

现如今,微软每个月发布更新补丁之后,几乎总会出现大大小小的一些问题。唉也没办法,那么多系统、软件,海量的代码,完美无瑕才邪门了呢。微软本月放出了多达13个安全补丁和一堆其他修复补丁...

Foundation ⋅ 2015/08/20 ⋅ 0

IntelliJ IDEA 14.1 卡顿

IntelliJ IDEA 14.1 在win8.1 jdk1.7 下编辑经常卡死,cpu 高占用率,你们有这种问题吗?

HulkZ ⋅ 2015/03/27 ⋅ 14

NFS挂载失败问题记录

在嵌入式开发环境中,NFS功能是使用的最多也是提高开发效率的重要工具之一。但是在我的开发经验中,使用NFS进行挂载,尤其是根文件系统的挂载时经常会出现各种问题,虽然之前的问题和经验没有...

水海云 ⋅ 2013/06/27 ⋅ 0

java实现类似百度文库在线阅读时openoffice卡死

请教各位同行,我遇到一个很无语的问题:在项目中实现文档在线预览的时候,使用openoffice转换文档时候,经常出现openoffice卡死,导致文档转换不了,找了很久,一直没发现问题,求诸位指导!...

虾米籽 ⋅ 2013/06/02 ⋅ 1

linux上挂载windows共享文件夹

linux上挂载windows共享文件夹 1.共享windows目录 挂载之前得创建一个有password的用户(当前用户也能够),并将你要挂载的目录进行共享,并赋予读写权限 如图。 2. 挂载windows共享文件夹 ...

技术mix呢 ⋅ 2017/12/06 ⋅ 0

如何检测Linux服务器的网络问题?

大家好,我有一个问题: 我们公司使用的Ubuntu服务器,上边fstab自动mount了一个nfs服务器。 但是发现最近这个mount经常自己掉,其它的服务器也fstab自动mount了nfs服务器,但是没掉,所以怀...

笨鸟不想飞 ⋅ 2017/04/13 ⋅ 1

加速网络文件系统NFS访问速度--Cachefiles

NFS是一种经常使用到的网络共享文件系统,在分布式环境下,多台服务器的文件共享是一个问题。然而,对于这个问题,最常想到最容易做到的那就非NFS莫属了。那么如何来提高NFS文件的访问性能呢...

NorthBoy ⋅ 2014/01/01 ⋅ 1

redis并发处理慢

最近项目一上线,就问题颇多,本地测试,ok,上线后,大用户量的时候,顶不住。用了一个礼拜的时间发现的问题,总结下来。 项目是netty4.0,reids2.8,nginx等框架。目前是4台proxy服务器,一...

爱coding ⋅ 2014/10/28 ⋅ 7

没有更多内容

加载失败,请刷新页面

加载更多

下一页

BS与CS的联系与区别【简】

C/S是Client/Server的缩写。服务器通常采用高性能的PC、工作站或小型机,并采用大型数据库系统,如Oracle、Sybase、InFORMix或 SQL Server。客户端需要安装专用的客户端软件。 B/S是Brower/...

anlve ⋅ 48分钟前 ⋅ 0

发生了什么?Linus 又发怒了?

在一个 Linux 内核 4.18-rc1 的 Pull Request 中,开发者 Andy Shevchenko 表示其在对设备属性框架进行更新时,移除了 union 别名,这引发了 Linus 的暴怒。 这一次 Linus Torvalds 发怒的原...

问题终结者 ⋅ 今天 ⋅ 0

在树莓派上搭建一个maven仓库

在树莓派上搭建一个maven仓库 20180618 lambo init 项目说明 家里有台树莓派性能太慢。想搭建一个maven私服, 使用nexus或者 jfrog-artifactory 运行的够呛。怎么办呢,手写一个吧.所在这个...

林小宝 ⋅ 今天 ⋅ 0

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 今天 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 今天 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 今天 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

Redis 单线程 为何却需要事务处理并发问题

Redis是单线程处理,也就是命令会顺序执行。那么为什么会存在并发问题呢? 个人理解是,虽然redis是单线程,但是可以同时有多个客户端访问,每个客户端会有 一个线程。客户端访问之间存在竞争...

码代码的小司机 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部