文档章节

ceph性能测试cosbecnch自动化

 惊浪
发布于 2015/03/10 14:37
字数 688
阅读 868
收藏 3

1、使用CosBench测试完成ceph的基准性能报告,手工收集ceph主机的IO/CPU/disk负载数据

通过看COSBenchUserGuide.pdf学习部署过程,完全参考该文档即可轻松部署。经过测试librados-config-sample.xml、s3-config-sample*.xml都可以正常使用。使用时一定要确认符合xml格式。

配置说明:

A. storage type="s3"指定了类型定义,对应访问ceph的RGW接口,通过apache、nginx服务器都可以正常访问

B. work type="init"创建s3的bucket;operation type="read"读s3接口对象;operation type="write"写s3接口对象;work type="cleanup"删除s3接口对象;work type="dispose"清除bucket

C.storage的config="accesskey=979OLL*;secretkey=nOM*;endpoint=http://*.*.0.1"为rados-admin创建的s3用户

D.config="cprefix=s3testqwer;containers=r(5,6);objects=r(1,2000);sizes=c(256)KB" 创建的两个bucket为s3testqwer5、s3testqwer6,每个bucket中的对象为1~2000总共两千个对象

注:对应的jar包为.\cos\osgi\plugins\cosbench-s3_0.4.1.0.jar

日志查看:

A. ./cos/conf/driver.conf文件中的log_level = DEBUG改为debug模式,开启错误信息

B. ./cos/conf/controller.conf文件中的log_level = INFO根据需要改成debug模式

C. 连接、加载jar包等错误日志在.cos/log/system.log中,log/mission目录为每次运行的workload日志

D. 一般我是通过http://192.168.1.105:19088/controller/index.html网页加载压测配置文件,如果有需要可以加载很多个,在正常情况下会顺序跑完所有workload

2、使用CosBench测试完成ceph的基准性能报告,在运行时手工使用shell脚本统计负载数据

在测试时需要观察系统资源使用情况,我们使用dstat命令查看CPU、网络负载,iostat命令查看磁盘负载

安装命令分别为yum install dstat;yum install sysstat

iostat -dx 3 5间隔3秒打印5次磁盘io情况,主要观察await/%util两项
dstat 每秒钟打印一次

开始时是通过命令打印crt上面,然后通过excell统计,每次压测完都要手工处理1个小时。后来通过命令把平均值统计好直接输出,运行完就可以直接生成报告

3、使用CosBench测试完成ceph的基准性能报告,把CEPH主机负载数据使用shell脚本输出日志,直接通过日志数据完成报告手工输出

4、开发CosBench测试相应的lib库完成DNS解析,同时连接多个RGW,测试负载情况。不再观察测试过程,测试完后直接完成报告

© 著作权归作者所有

共有 人打赏支持
粉丝 16
博文 29
码字总数 17864
作品 0
福州
程序员
“Ceph浅析”系列之七——关于Ceph的若干想法

本篇文章的内容,主要是笔者在调研分析Ceph过程中产生的一些思考。因为其中的内容比较自由发散,且大多是笔者的个人见解,故此另启一文进行讨论。 7.1 关于Ceph的性能 目前为止,本系列的文章...

红薯
2014/04/01
965
2
分部署云存储系统Ceph架构剖析

云硬盘是IaaS云平台的重要组成部分,云硬盘给虚拟机提供了持久的块存储设备。目前的AWS 的EBS(Elastic Block store)给Amazon的EC2实例提供了高可用高可靠的块级存储卷,EBS适合于一些需要访问...

English0523
2015/12/25
0
0
S3 协议兼容的分布式对象存储系统 - Yig

Yet another Index Gateway Yig 是 S3 协议兼容的分布式对象存储系统。它脱胎于开源软件 ceph ,在多年的商业化运维中, 针对运维中出现的问题和功能上的新需求,重新实现了一遍 radosgw 用于...

匿名
05/23
0
0
ceph文件系统与原生磁盘读写性能的比较

一.测试目的 获取ceph文件系统的读写性能,并与原生磁盘进行比较 二.硬件及网络环境 1.硬盘信息 磁盘(型号,类型,容量) CPU 客户端 ST1000DM003-1CH162;SATA;1T Intel(R) Core(TM) i3-4...

北_木
2014/05/29
0
35
Gluster vs Ceph:开源存储领域的正面较量

引言:开源存储软件Ceph和Gluster能够提供相似的特性并且能够为用户节省不小的开支。那么谁更快?谁又更易用呢? 开源的Ceph及Red Hat旗下的Gluster都是成熟的技术,但兴许不久之后就将经历某...

oschina
2014/02/21
7.9K
6

没有更多内容

加载失败,请刷新页面

加载更多

arts-week10

Algorithm 905. Sort Array By Parity - LeetCode Review Who’s Afraid of the Big Bad Preloader? 一文读懂前端缓存 一个网络请求3个步骤:请求,处理,响应,而前端缓存主要在请求处响应这两步...

yysue
今天
0
0
00.编译OpenJDK-8u40的整个过程

前言 历经2天的折腾总算把OpenJDK给编译成功了,要说为啥搞这个,还得从面试说起,最近出去面试经常被问到JVM的相关东西,总感觉自己以前学的太浅薄,所以回来就打算深入学习,目标把《深入理...

凌晨一点
今天
5
0
python: 一些关于元组的碎碎念

初始化元组的时候,尤其是元组里面只有一个元素的时候,会出现一些很蛋疼的情况: def checkContentAndType(obj): print(obj) print(type(obj))if __name__=="__main__": tu...

Oh_really
昨天
6
2
jvm crash分析工具

介绍一款非常好用的jvm crash分析工具,当jvm挂掉时,会产生hs_err_pid.log。里面记录了jvm当时的运行状态以及错误信息,但是内容量比较庞大,不好分析。所以我们要借助工具来帮我们。 Cras...

xpbob
昨天
136
0
Qt编写自定义控件属性设计器

以前做.NET开发中,.NET直接就集成了属性设计器,VS不愧是宇宙第一IDE,你能够想到的都给你封装好了,用起来不要太爽!因为项目需要自从全面转Qt开发已经6年有余,在工业控制领域,有一些应用...

飞扬青云
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部