文档章节

Ceph 慢盘原因分析一例:CPU 偷懒了!

UMU
 UMU
发布于 2018/02/02 17:36
字数 619
阅读 87
收藏 0

前情

有一个 osd 慢了,想分析原因。

分析过程

1. 硬件配置对比

找了一台参照机器,上面也一样跑了 15 个 osd,发现 CPU、内存、主板、内存、硬盘的型号都一样,参数也没看出明显差别。但磁盘有点毛病,用 smartctl 看不出通电时长,所以也没有法断定不是磁盘之间的差异。

ProLiant DL380e Gen8

Intel(R) Xeon(R) CPU E5-2470 0 @ 2.30GHz

16G DDR3 1333 MHz * 10

2. 排除配置差异

确实找出一个差异来,这个慢的 osd 的磁盘分区和别的 osd 不一样,前面 14 个 osd 的 journal 分区占整个硬盘的比例是 20%,这个慢的 osd 则是 10%。

但后来发现,其它 14 个是普通的 osd,慢的那个是 bucket index osd,所以分区故意那样分的。

3. 发现 mcelog 大了很多

慢盘的 mcelog 比参照机器上的大了 20G,后确认是很早以前有内存错误打的,不是最近发生。

4. 怀疑内存还是有毛病,毕竟曾经有过毛病

测试了逐字节内存填写,结果发现慢盘机器总是比参照机器慢一些,而且浮动比较大,所以怀疑是整机性能不行,并非就那个 bucket index osd 慢,只是 bucket index osd 慢得比较明显。后来,另一名同事确认了这点,15 个 osd 都比参照机器上的 15 个 osd 慢。

5. 在另一名同事的协助下,发现 CPU 降频了……

这个问题机器的 CPU 是 ondemand 模式,降频后,没有及时恢复!后来改为性能模式,问题解决。至于为什么 CPU 不能恢复高频模式,有点怀疑是 pcc-cpufreq.ko 这个 cpufreq_driver 的 bug,但没仔细研究了,直接听取前辈的经验:使用 ondemand 模式,可能导致莫名其妙的问题,而且并不能省多少电,意义不大。

单说 CPU,省电的关键应该是把工作电压降低了,功率下降肯定能省电;只把频率降低(能提高电阻?),效果目测是不会很明显。这个研究不深,欢迎指教。

6. 为什么参照机器没有问题?

两个可能性:

(1)BIOS ROM 版本不一样,参照机器更高:P73 08/20/2012,问题机器:P73 06/01/2012。

(2)BIOS 参数可能也不一样。(服务器不能,无法查看……)

© 著作权归作者所有

UMU

UMU

粉丝 119
博文 112
码字总数 44043
作品 0
厦门
程序员
私信 提问
从传统运维到云运维演进历程之软件定义存储(一)

运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人...

Devin
2016/09/12
0
0
CEPH之osd批量创建

一直出差都没时间写了。。。 今天创建150个osd,发现手动写ceph.conf有点头大,研究了下vim的递增功能。 很简单就是一条命令: :let i=0|g/REG/s//=i/|let i=i+1 它可以匹配你文本中的REG,然...

hiubuntu
2017/01/11
0
0
运维干货—硬盘容量不均衡导致的缓存盘寿命急速衰减

分布式存储—硬盘容量不均衡导致的缓存盘寿命急速衰减分析 Ceph分布式存储在扩展性、可靠性、性能上具备独特的优势,可以实现快速扩展多台服务器,动态伸缩到PB级容量,多副本机制保障数据高...

ZStack社区版
01/10
0
0
Openstack之Ceph集群操作

Oepnstack之CEPH系列是根据Ceph Cookbook整理的笔记,分为以下几个部分: 1. 《Ceph简介》 2. 《Ceph集群操作》 3. 《Ceph块设备管理与Openstack配置》 4. 《深入Ceph》 5. 《ceph优化与性能...

hiubuntu
2016/12/01
0
0
深入浅出BlueStore的OSD创建与启动

之前《记一次节点重启OSD启动失败分析过程》有读者留言提到,现在都M版本了,已经是的时代了,还在停留在H版本,有点落后。受此提醒,开始学习下Bluestore存储。本文主要对基于创建osd及osd...

Ceph开源社区
2018/09/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

抽象同步队列AQS——AbstractQueuedSynchronizer锁详解

AQS——锁的底层支持 谈到并发,不得不谈ReentrantLock;而谈到ReentrantLock,不得不谈AbstractQueuedSynchronizer(AQS)! 类如其名,抽象的队列式的同步器,AQS定义了一套多线程访问共享资...

须臾之余
今天
3
0
springboot配置百度UEditor 富文本详解

富文本简介 UEditor是由百度web前端研发部开发所见即所得富文本web编辑器,具有轻量,可定制,注重用户体验等特点,开源基于MIT协议,允许自由使用和修改代码... 准备工作 ueditor需要单独文...

wotrd
昨天
4
0
mysql 5.7之my.cnf配置大全

[client]port = 3306socket = /tmp/mysql.sock[mysqld]###############################基础设置######################################Mysql服务的唯一编号 每个mysql服务...

Online_Reus
昨天
3
0
MAVEN打包时引入外部链接的包

1.项目引入了ORACLE的jar包,MAVEN配置如下 2.打jar包的时候需要指定下main入口函数mainClass <dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc6</artifactId> ......

Cobbage
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部