文档章节

关于ceph rgw设计的深入思考

2
 25641463
发布于 2017/06/10 15:26
字数 439
阅读 102
收藏 0
点赞 0
评论 0

        ceph rados集群作为存储最底层数据组织及管理,需要使用c++实现大量的源生功能。但是rgw作为web service服务端,大部分功能不需要自己从头用c++高成本的开发,只需要与众多优秀的轻量级开源项目合作即可。就像python开发者提到的"life is short,use python"。ceph作为一个还处于早期的开源项目,后续必然会像openstack社区那样,一个功能分裂出更多的子项目。社区可能也已经意识到了这个问题,比如目前L版社区将管理功能从monitor节点剥离,rgw元数据集成elastic search查询功能等等。其实社区没有自己开发元数据查询功能,就是借助了els的能力,并没有重复造轮子,在c++不擅长的领域去与众多优秀项目pk,其实前2年青云的工程师也写文章提到了比如rgw metadata存储的弊端。

      在rgw内部,例如metadata元数据管理,之前出现过《ceph 惊魂72小时》的问题。其实metadata不适合存在osd里,直接可以利用一些大数据开源项目的数据组织思路,保存到单独的项目中。又如civetweb众所周知的并发性能差,开源社区有着众多的基于nginx高扩展性的框架。又如multisite实现了复杂的推拉机制同步数据,不如转头去结合一些优秀的相关开源项目进行。

      如果有实力的功能通过上述思路对rgw改造,可大大提高rgw的大规模可用性。

© 著作权归作者所有

共有 人打赏支持
2
粉丝 7
博文 15
码字总数 8009
作品 0
沈阳
高级程序员
Ceph v0.80.9 发行说明,分布式文件系统

Ceph v0.80.9 昨天正式发布:http://www.oschina.net/news/60353/ceph-0-80-9。 Ceph v0.80.9 firefly 是个 bug 修复版本,修复了 librbd 的性能回退问题;一个重要的 CRUSH 误操作;一些 RG...

oschina
2015/03/11
904
0
Ceph 9.0.3 发布,分布式文件系统

Ceph 9.0.3 发布,此版本最直观的改进是内部改进(用户不可见):OSD 的 ObjectStore 接口改进。同时还有大量关于 RGW,RBD 和其他 CephFS scrub/repair 方面的改进和修复。 更新 The return...

oschina
2015/08/25
1K
1
Ceph 0.94 发布,分布式文件系统

Ceph 0.94 发布, 此版本主要更新信息如下: RADOS Performance: a range of improvements have been made in the OSD and client-side librados code that improve the throughput on flas......

oschina
2015/04/08
1K
8
Ceph v0.87.1 发行说明,分布式文件系统

Ceph v0.87.1 发布,此版本是 Giant 第一个关键版本,也许是最终版本,主要关注 Hammer 和 Firefly 稳定性修复。 建议所有用户升级到最新版本! UPGRADING 因为 Linux Kernel 3.18 版本的改进...

oschina
2015/02/27
613
1
单机部署多CEPH-RGW的方法

引言 在高配置服务器,单个RGW的并发量无法充分使用机器的网络带宽资源,本文用于说明如何在单机上部署多RGW的方法。 如何使nginx和radosgw联合使用 如何使用配置多nginx,多radosgw 1.nginx...

西昆仑
2016/02/04
875
0
Ceph 9.0.0 发布,分布式文件系统

Ceph 9.0.0 发布,这是 Infernalis 周期的第一个开发版本,而且也是 Ceph 版本发布采用另一个版本号模式的第一个版本。“9” 代表这是第 9 个 cycle-I(Infernalis),I 是第九个字母。第一个...

oschina
2015/05/06
4.8K
25
Ceph v0.94.4 发布,分布式文件系统

Ceph v0.94.4 发布,此版本修复了一些重要的 bug,建议所有 v0.94.x Hammer 用户尽快升级到最新版本。 Ceph 在 GitHub 已经放出 Ceph v0.94.5 版本的下载:src="https://github.com/ceph/ce...

oschina
2015/10/27
1K
7
Ceph v0.94.3 发布,分布式文件系统

Ceph v0.94.3 发布,建议所有0.94.x的用户更新,主要更新内容如下: 升级 The pg ls-by-{pool,primary,osd} commands and pg ls now take the argument recovering instead of recovery in o......

oschina
2015/08/28
1K
4
Ceph 0.85 发布,分布式文件存储系统

Ceph 0.85 发布了,值得关注的改进有: ceph-disk: do not inadvertantly create directories (Owne Synge) ceph-disk: fix dmcrypt support (Sage Weil) ceph-disk: linter cleanup, loggin......

oschina
2014/09/09
1K
0
Ceph v0.92 发布,分布式文件系统

Ceph v0.92 发布,此版本主要改进如下: OSD 对象校验 缓存层读入代理 RBD 图片锁 优化 OSD 事物和复制信息 大量的 RGW 和 MDS bug 修复 升级 The experimental ‘keyvaluestore-dev’ OSD ...

oschina
2015/02/05
2.2K
6

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringBoot | 第十章:Swagger2的集成和使用

前言 前一章节介绍了mybatisPlus的集成和简单使用,本章节开始接着上一章节的用户表,进行Swagger2的集成。现在都奉行前后端分离开发和微服务大行其道,分微服务及前后端分离后,前后端开发的...

oKong
今天
9
0
Python 最小二乘法 拟合 二次曲线

Python 二次拟合 随机生成数据,并且加上噪声干扰 构造需要拟合的函数形式,使用最小二乘法进行拟合 输出拟合后的参数 将拟合后的函数与原始数据绘图后进行对比 import numpy as npimport...

阿豪boy
今天
4
0
云拿 无人便利店

附近(上海市-航南路)开了家无人便利店.特意进去体验了一下.下面把自己看到的跟大家分享下. 经得现场工作人员同意后拍了几张照片.从外面看是这样.店门口的指导里强调:不要一次扫码多个人进入....

周翔
昨天
1
0
Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
昨天
176
1
npm profile 新功能介绍

转载地址 npm profile 新功能介绍 npm新版本新推来一个功能,npm profile,这个可以更改自己简介信息的命令,以后可以不用去登录网站来修改自己的简介了 具体的这个功能的支持大概是在6这个版...

durban
昨天
1
0
Serial2Ethernet Bi-redirection

Serial Tool Serial Tool is a utility for developing serial communications, custom protocols or device testing. You can set up bytes to send accordingly to your protocol and save......

zungyiu
昨天
1
0
python里求解物理学上的双弹簧质能系统

物理的模型如下: 在这个系统里有两个物体,它们的质量分别是m1和m2,被两个弹簧连接在一起,伸缩系统为k1和k2,左端固定。假定没有外力时,两个弹簧的长度为L1和L2。 由于两物体有重力,那么...

wangxuwei
昨天
0
0
apolloxlua 介绍

##项目介绍 apolloxlua 目前支持javascript到lua的翻译。可以在openresty和luajit里使用。这个工具分为两种模式, 一种是web模式,可以通过网页使用。另外一种是tool模式, 通常作为大规模翻...

钟元OSS
昨天
2
0
Mybatis入门

简介: 定义:Mybatis是一个支持普通SQL查询、存储过程和高级映射的持久层框架。 途径:MyBatis通过XML文件或者注解的形式配置映射,实现数据库查询。 特性:动态SQL语句。 文件结构:Mybat...

霍淇滨
昨天
2
0
开发技术瓶颈期,如何突破

前言 读书、学习的那些事情,以前我也陆续叨叨了不少,但总觉得 “学习方法” 就是一个永远在路上的话题。个人的能力、经验积累与习惯方法不尽相同,而且一篇文章甚至一本书都很难将学习方法...

_小迷糊
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部