文档章节

ceph性能测试cosbecnch自动化

 惊浪
发布于 2015/03/10 14:37
字数 688
阅读 876
收藏 3

1、使用CosBench测试完成ceph的基准性能报告,手工收集ceph主机的IO/CPU/disk负载数据

通过看COSBenchUserGuide.pdf学习部署过程,完全参考该文档即可轻松部署。经过测试librados-config-sample.xml、s3-config-sample*.xml都可以正常使用。使用时一定要确认符合xml格式。

配置说明:

A. storage type="s3"指定了类型定义,对应访问ceph的RGW接口,通过apache、nginx服务器都可以正常访问

B. work type="init"创建s3的bucket;operation type="read"读s3接口对象;operation type="write"写s3接口对象;work type="cleanup"删除s3接口对象;work type="dispose"清除bucket

C.storage的config="accesskey=979OLL*;secretkey=nOM*;endpoint=http://*.*.0.1"为rados-admin创建的s3用户

D.config="cprefix=s3testqwer;containers=r(5,6);objects=r(1,2000);sizes=c(256)KB" 创建的两个bucket为s3testqwer5、s3testqwer6,每个bucket中的对象为1~2000总共两千个对象

注:对应的jar包为.\cos\osgi\plugins\cosbench-s3_0.4.1.0.jar

日志查看:

A. ./cos/conf/driver.conf文件中的log_level = DEBUG改为debug模式,开启错误信息

B. ./cos/conf/controller.conf文件中的log_level = INFO根据需要改成debug模式

C. 连接、加载jar包等错误日志在.cos/log/system.log中,log/mission目录为每次运行的workload日志

D. 一般我是通过http://192.168.1.105:19088/controller/index.html网页加载压测配置文件,如果有需要可以加载很多个,在正常情况下会顺序跑完所有workload

2、使用CosBench测试完成ceph的基准性能报告,在运行时手工使用shell脚本统计负载数据

在测试时需要观察系统资源使用情况,我们使用dstat命令查看CPU、网络负载,iostat命令查看磁盘负载

安装命令分别为yum install dstat;yum install sysstat

iostat -dx 3 5间隔3秒打印5次磁盘io情况,主要观察await/%util两项
dstat 每秒钟打印一次

开始时是通过命令打印crt上面,然后通过excell统计,每次压测完都要手工处理1个小时。后来通过命令把平均值统计好直接输出,运行完就可以直接生成报告

3、使用CosBench测试完成ceph的基准性能报告,把CEPH主机负载数据使用shell脚本输出日志,直接通过日志数据完成报告手工输出

4、开发CosBench测试相应的lib库完成DNS解析,同时连接多个RGW,测试负载情况。不再观察测试过程,测试完后直接完成报告

© 著作权归作者所有

共有 人打赏支持
上一篇: Ceph 命令行说明
粉丝 16
博文 29
码字总数 17864
作品 0
福州
程序员
私信 提问
“Ceph浅析”系列之七——关于Ceph的若干想法

本篇文章的内容,主要是笔者在调研分析Ceph过程中产生的一些思考。因为其中的内容比较自由发散,且大多是笔者的个人见解,故此另启一文进行讨论。 7.1 关于Ceph的性能 目前为止,本系列的文章...

红薯
2014/04/01
965
2
分部署云存储系统Ceph架构剖析

云硬盘是IaaS云平台的重要组成部分,云硬盘给虚拟机提供了持久的块存储设备。目前的AWS 的EBS(Elastic Block store)给Amazon的EC2实例提供了高可用高可靠的块级存储卷,EBS适合于一些需要访问...

English0523
2015/12/25
0
0
kolla-ansible部署容器ceph

kolla是从openstack孵化出的一个项目,kolla项目可以制作镜像包括openstack、ceph等容器镜像, ansible是自动化部署工具,执行playbook中的任务。 kolla-ansible是容器部署工具,部署opensta...

zrz11
10/22
0
0
Ceph RGW bucket 自动分片介绍和存在的问题

工作中存储集群使用了 Ceph 技术,所用的是版本是 Luminous 12.2.4,因为刚刚上手 Ceph,不少概念和问题也都是头一次听说,比如这次的自动分片(auto resharding)。不得不说,Ceph 对象存储...

blackpiglet
08/14
0
0
Ceph 浅析(上):概况与设计思想

摘要:其命名和UCSC(Ceph 的诞生地)的吉祥物有关,这个吉祥物是 “Sammy”,一个香蕉色的蛞蝓,就是头足类中无壳的软体动物。这些有多触角的头足类动物,是对一个分布式文件系统高度并行的...

红薯
2014/04/01
1K
3

没有更多内容

加载失败,请刷新页面

加载更多

Spark性能优化之道

Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案,包括避免数据源倾斜,调整并行度,使用自定义Partition...

GordonNemo
24分钟前
2
0
大数据驱动业务决策,CDN实时日志重磅上线

摘要: 阿里云CDN上线了实时日志功能,打通日志服务(SLS)的能力,将CDN采集的实时日志,在小于60秒的时间内投递至日志服务,进行实时、交互式分析和报表呈现。通过CDN日志的实时分析,可以快...

阿里云官方博客
30分钟前
3
0
springCloud学习笔记系列(3)-服务容错保护:Spring Cloud Feign

Feign包含了Ribbon和Hystrix,这个在实战中才慢慢体会到它的意义,所谓的包含并不是Feign的jar包包含有Ribbon和Hystrix的jar包这种物理上的包含,而是Feign的功能包含了其他两者的功能这种逻...

快乐的小火柴
31分钟前
1
0
各种数据库数据类型差异

文本 整数 浮点数 decimal Hive数据库 create table default.foo ( a DECIMAL, -- Defaults to decimal(10,0) b DECIMAL(20), -- Defaults to decimal(20,0) c DECIMAL(9, 7), d DE......

了凡川
36分钟前
4
0
springboot中filter的用法

一、在spring的应用中我们存在两种过滤的用法,一种是拦截器、另外一种当然是过滤器。我们这里介绍过滤器在springboot的用法,在springmvc中的用法基本上一样,只是配置上面有点区别。 二、f...

xiaomin0322
54分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部