文档章节

ceph jewel手动编译安装的一些优化

linuxhunter
 linuxhunter
发布于 2016/06/02 09:36
字数 569
阅读 1016
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

一、手动安装ceph。

    根据http://my.oschina.net/linuxhunter/blog/682013,手动安装jewel版本ceph到硬件服务器。

二、测试ceph集群的方法。

    使用ceph自带的rados bench命令简单测试手动搭建ceph集群的性能,查看系统性能的工具使用perf命令。由于默认安装的ubuntu环境没有安装perf工具及其依赖,所有要手动安装perf工具。#apt-get install perf linux-tools-4.4.0-21-generic。安装完成后启用两个终端分别运行#perf top命令和#rados banch -p test_rbd 60 write --no-cleanup命令。

三、发现的问题。

    在运行#perf top命令的终端上发现ceph-osd在调用ceph_crc32_sctp这个函数上占用了35%的CPU时间,而此时集群的压力并不大,因此决定从源代码上找找ceph_crc32_sctp为什么占用那么多的CPU时间。

    ceph_crc32_sctp这个函数位于src/common/sctp_crc32.c这个文件中,只有ceph_choose_crc32函数调用ceph_crc32_sctp函数。分析ceph_choose_crc32这个函数不难发现,该函数根据当前CPU的架构来选择计算crc32的方法。若CPU是intel的CPU且支持sse4指令集,则使用硬件计算crc32值(调用ceph_crc32_intel_fast函数),否则使用软件计算crc32值(调用ceph_crc32_sctp函数)。我们使用的CPU是intel Xeon 2560 v2,当然支持sse4指令集。

四、解决问题的方法。

    要想让ceph支持硬件计算crc32值,就的在编译ceph的时候安装yasm工具包,使得ceph可以正确通过汇编语句访问硬件。因此需要手动安装yasm工具包,即:#apt-get install yasm。之后按照http://my.oschina.net/linuxhunter/blog/682013重新手动编译并安装ceph。

五、优化结果。

    基于yasm工具包编译后的ceph,再经过rados bench测试后发现在perf top中ceph-osd进程中crc32_iscsi_00函数占用8%左右的CPU时间,而crc32_iscsi_00函数正是被ceph_crc32_intel_fast函数所调用。因此基于yasm编译后的ceph会充分利用硬件CPU特性来计算crc32的值,因此cpu占用率会下降很多,从35%下降到8%。

© 著作权归作者所有

linuxhunter
粉丝 72
博文 144
码字总数 93264
作品 0
沈阳
高级程序员
私信 提问
快速构建ceph可视化监控系统

前言 ceph的可视化方案很多,本篇介绍的是比较简单的一种方式,并且对包都进行了二次封装,所以能够在极短的时间内构建出一个可视化的监控系统 本系统组件如下: ceph-jewel版本 ceph_expor...

万建宁
2018/07/19
194
0
Ceph集群由Jewel版本升级到Luminous版本

参考文档 https://www.virtualtothecore.com/en/upgrade-ceph-cluster-luminous/ http://www.chinastor.com/distristor/11033L502017.html 缘起 首先看之前安装版本链接及测试 http://blog.......

minminmsn
2018/07/11
0
0
ceph使用中的一些问题

一、块设备 1、ceph jewel版rbd镜像默认是 format 2 在挂载的时候有些特性会不支持。 2、用自己编译的ceph 搭建好环境后,运行一段时间后,执行rbd ls命令或用rbd命令创建块设备,出现段错误...

zrz11
2016/12/14
17
0
ceph(jewel版)编译

一、在github下载ceph源码: git clone --recursive https://github.com/ceph/ceph.git 下载ceph的其他子模块,否则在编译过程中会出现缺少库 git submodule update --force --init --recurs...

zrz11
2016/11/02
47
0
ceph 容器化安装 以及 需要趟过去的坑

ceph集群的容器化安装比原始安装步骤简单,好操作。但是运维相对可能会有许多坑需要趟。下面就做一个简单的分享。 1 节点规划 admin 172.18.1.193 node1 172.18.1.195 node2 172.18.1.196 2...

胡子叭槎
2018/04/16
455
0

没有更多内容

加载失败,请刷新页面

加载更多

学习记录 互联网项目---3(Ribben优化)

3.3 负载均衡策略 {服务名称}.ribbon.NFLoadBalancerRuleClassName=具体策略 service:#服务名 ribbon: NFLoadBalancerRuleClassName : com.netflix.loadbalancer.RandomRule ......

Pole丶逐
27分钟前
3
0
redis - 的线程模型

redis 的线程模型 redis 内部使用文件事件处理器 file event handler,这个文件事件处理器是单线程的,所以 redis 才叫做单线程的模型。它采用 IO 多路复用机制同时监听多个 socket,根据 so...

Canaan_
28分钟前
7
0
IT兄弟连 HTML5教程 使用盒子模型的浮动布局

虽然使用绝对定位可以实现页面布局,但由于调整某个盒子模型时其他盒子模型的位置并不会跟着改变,所以并不是布局的首选方式。而使用浮动的盒子模型可以向左或向右移动,直到它的外边缘碰到包...

老码农的一亩三分地
29分钟前
3
0
ubuntu上编译和使用easy_profiler对C++程序进行性能分析

本文首发于个人博客https://kezunlin.me/post/91b7cf13/,欢迎阅读最新内容! tutorial to compile and use esay profiler with c++ on ubuntu 16.04 <!--more--> Guide compile git clone h......

kezunlin
50分钟前
5
0
nginx master-worker进程工作原理

nginx的master-worker进程模型是其能够高性能的处理用户请求的原因之一,而且这里的每个worker进程都只会启动一个线程来处理用户请求。通常我们会将worker进程的数量设置得与我们的CPU数量一...

爱宝贝丶
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部