Ceph 慢盘原因分析一例:CPU 偷懒了!

原创
2018/02/02 17:36
阅读数 1.5K

前情

有一个 osd 慢了,想分析原因。

分析过程

1. 硬件配置对比

找了一台参照机器,上面也一样跑了 15 个 osd,发现 CPU、内存、主板、内存、硬盘的型号都一样,参数也没看出明显差别。但磁盘有点毛病,用 smartctl 看不出通电时长,所以也没有法断定不是磁盘之间的差异。

ProLiant DL380e Gen8

Intel(R) Xeon(R) CPU E5-2470 0 @ 2.30GHz

16G DDR3 1333 MHz * 10

2. 排除配置差异

确实找出一个差异来,这个慢的 osd 的磁盘分区和别的 osd 不一样,前面 14 个 osd 的 journal 分区占整个硬盘的比例是 20%,这个慢的 osd 则是 10%。

但后来发现,其它 14 个是普通的 osd,慢的那个是 bucket index osd,所以分区故意那样分的。

3. 发现 mcelog 大了很多

慢盘的 mcelog 比参照机器上的大了 20G,后确认是很早以前有内存错误打的,不是最近发生。

4. 怀疑内存还是有毛病,毕竟曾经有过毛病

测试了逐字节内存填写,结果发现慢盘机器总是比参照机器慢一些,而且浮动比较大,所以怀疑是整机性能不行,并非就那个 bucket index osd 慢,只是 bucket index osd 慢得比较明显。后来,另一名同事确认了这点,15 个 osd 都比参照机器上的 15 个 osd 慢。

5. 在另一名同事的协助下,发现 CPU 降频了……

这个问题机器的 CPU 是 ondemand 模式,降频后,没有及时恢复!后来改为性能模式,问题解决。至于为什么 CPU 不能恢复高频模式,有点怀疑是 pcc-cpufreq.ko 这个 cpufreq_driver 的 bug,但没仔细研究了,直接听取前辈的经验:使用 ondemand 模式,可能导致莫名其妙的问题,而且并不能省多少电,意义不大。

单说 CPU,省电的关键应该是把工作电压降低了,功率下降肯定能省电;只把频率降低(能提高电阻?),效果目测是不会很明显。这个研究不深,欢迎指教。

6. 为什么参照机器没有问题?

两个可能性:

(1)BIOS ROM 版本不一样,参照机器更高:P73 08/20/2012,问题机器:P73 06/01/2012。

(2)BIOS 参数可能也不一样。(服务器不能,无法查看……)

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部