文档章节

Freeshell 查明 NFS 经常卡死问题

刺猬一号
 刺猬一号
发布于 2017/06/16 00:07
字数 475
阅读 13
收藏 0

2015 年 2 月 3 日,freeshell 出现持续两个小时的 NFS 卡死问题。事实上,2014 年 8 月启用外部磁盘以来,就经常出现持续几十秒甚至几分钟的 NFS 卡死,卡死期间外部磁盘上的 freeshell 无法执行任何操作,有的 freeshell 还会因为磁盘操作超时而关机。之前一直以为是 NFS bug 导致了死锁,没有定位到故障原因,也没能重现。

2 月 3 日,通过 tcpdump 抓包和 strace nfsiod 进程的方法,查明 NFS server not responding 的问题是由于外部硬盘(一块希捷的 2T 绿盘)过于繁忙。

在 NFS 卡死的时段,外部磁盘读的平均延迟可达 600ms,写的平均延迟是 1400ms。当初设置 NFS 挂载参数的时候,我没有考虑到磁盘繁忙的问题,只是想到了网络延迟不应当超过 1 秒,于是就设置了超时 timeo=10,表示 1 秒超时。一个 NFS 请求可能需要分解为多个磁盘读请求,这些请求的时间之和很可能超过 1 秒,也就是大部分读写请求还没来得及发给磁盘就超时了,形成了 NFS 服务器失去响应的假象。

下面是 早先的挂载参数
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=10,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

现将超时修改成 30 秒(timeo=300)。
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=300,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

2 月 3 日已经修改 fstab,但由于挂载着的 NFS 不能修改挂载参数(见 man nfs),需要关闭所有外部磁盘上的虚拟机才能重新挂载 NFS。2 月 4 日刚好 1 号节点挂了,于是把所有其他节点也重启了一遍,NFS 参数就更新了。

© 著作权归作者所有

共有 人打赏支持
刺猬一号
粉丝 11
博文 346
码字总数 582089
作品 0
深圳
中科大 LUG 服务器遭受大规模网络攻击

自6月1日晚开始,中科大的LUG服务器遭受大规模攻击。包括开源软件镜像在内的多个服务出现故障。6月3日,镜像首页提示用户对下载的文件进行checksum校验,官方建议切换至其他软件源或谨慎使用...

oschina
2015/06/05
8.7K
36
如何确定是程序响应慢还是网络慢?

现在有一台主服务器,仅仅只部署了nginx服务,底下有若干台web服务器用内网相连,外网都是访问这台主服务器 最近总出现问题发现经常卡死,无响应 在服务器上添加一个静态文件,直接通过nginx...

speedhao
2016/08/31
454
4
IntelliJ IDEA 14.1 卡顿

IntelliJ IDEA 14.1 在win8.1 jdk1.7 下编辑经常卡死,cpu 高占用率,你们有这种问题吗?

HulkZ
2015/03/27
11.1K
14
linux上挂载windows共享文件夹

linux上挂载windows共享文件夹 1.共享windows目录 挂载之前得创建一个有password的用户(当前用户也能够),并将你要挂载的目录进行共享,并赋予读写权限 如图。 2. 挂载windows共享文件夹 ...

技术mix呢
2017/12/06
0
0
java实现类似百度文库在线阅读时openoffice卡死

请教各位同行,我遇到一个很无语的问题:在项目中实现文档在线预览的时候,使用openoffice转换文档时候,经常出现openoffice卡死,导致文档转换不了,找了很久,一直没发现问题,求诸位指导!...

虾米籽
2013/06/02
487
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

windbg调试C源码级驱动

联机方式不多说了。我博客里有,英文的。 windbg联机文档 https://docs.microsoft.com/zh-cn/windows-hardware/drivers/debugger/debug-universal-drivers---step-by-step-lab--echo-kernel......

simpower
38分钟前
0
0
redis快照和AOF简介

数据持久化到硬盘:一是快照(snapshotting),二是只追加文件(append-only file AOF) 快照 核心原理:redis某个时间内存内的所有数据写入硬盘 场景:redis快照内存里面的数据 1. 用户发送bgsav...

拐美人
39分钟前
0
0
这个七夕,送你一份程序员教科书级别的告白指南

给广大爱码士们的高能预警: 今天,就是七夕了…… (单身非作战人群请速速退场!) 时常有技术GG向个推君抱怨 经过网民多年的教育 以及技术人持之以恒的自黑 冲锋衣狂热分子·格子衫骨灰级粉...

个推
44分钟前
0
0
python爬虫日志(15)cookie详解

转载:原文地址 早期Web开发面临的最大问题之一是如何管理状态。服务器端没有办法知道两个请求是否来自于同一个浏览器。那时的办法是在请求的页面中插入一个token,并且在下一次请求中将这个...

茫羽行
44分钟前
0
0
qlv视频格式转换器

  腾讯视频中的视频影视资源有很多,小编经常在里面下载视频观看,应该也有很多朋友和小编一样吧,最近热播的电视剧也不少,如《香蜜沉沉烬如霜》、《夜天子》还有已经完结的《扶摇》,这么...

萤火的萤火
48分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部