文档章节

关于ceph rgw设计的深入思考

2
 25641463
发布于 2017/06/10 15:26
字数 439
阅读 117
收藏 0

        ceph rados集群作为存储最底层数据组织及管理,需要使用c++实现大量的源生功能。但是rgw作为web service服务端,大部分功能不需要自己从头用c++高成本的开发,只需要与众多优秀的轻量级开源项目合作即可。就像python开发者提到的"life is short,use python"。ceph作为一个还处于早期的开源项目,后续必然会像openstack社区那样,一个功能分裂出更多的子项目。社区可能也已经意识到了这个问题,比如目前L版社区将管理功能从monitor节点剥离,rgw元数据集成elastic search查询功能等等。其实社区没有自己开发元数据查询功能,就是借助了els的能力,并没有重复造轮子,在c++不擅长的领域去与众多优秀项目pk,其实前2年青云的工程师也写文章提到了比如rgw metadata存储的弊端。

      在rgw内部,例如metadata元数据管理,之前出现过《ceph 惊魂72小时》的问题。其实metadata不适合存在osd里,直接可以利用一些大数据开源项目的数据组织思路,保存到单独的项目中。又如civetweb众所周知的并发性能差,开源社区有着众多的基于nginx高扩展性的框架。又如multisite实现了复杂的推拉机制同步数据,不如转头去结合一些优秀的相关开源项目进行。

      如果有实力的功能通过上述思路对rgw改造,可大大提高rgw的大规模可用性。

© 著作权归作者所有

共有 人打赏支持
2
粉丝 7
博文 15
码字总数 8009
作品 0
沈阳
高级程序员
Ceph v0.80.9 发行说明,分布式文件系统

Ceph v0.80.9 昨天正式发布:http://www.oschina.net/news/60353/ceph-0-80-9。 Ceph v0.80.9 firefly 是个 bug 修复版本,修复了 librbd 的性能回退问题;一个重要的 CRUSH 误操作;一些 RG...

oschina
2015/03/11
904
0
Ceph 9.0.3 发布,分布式文件系统

Ceph 9.0.3 发布,此版本最直观的改进是内部改进(用户不可见):OSD 的 ObjectStore 接口改进。同时还有大量关于 RGW,RBD 和其他 CephFS scrub/repair 方面的改进和修复。 更新 The return...

oschina
2015/08/25
1K
1
Ceph 0.94 发布,分布式文件系统

Ceph 0.94 发布, 此版本主要更新信息如下: RADOS Performance: a range of improvements have been made in the OSD and client-side librados code that improve the throughput on flas......

oschina
2015/04/08
1K
8
Ceph v0.87.1 发行说明,分布式文件系统

Ceph v0.87.1 发布,此版本是 Giant 第一个关键版本,也许是最终版本,主要关注 Hammer 和 Firefly 稳定性修复。 建议所有用户升级到最新版本! UPGRADING 因为 Linux Kernel 3.18 版本的改进...

oschina
2015/02/27
613
1
单机部署多CEPH-RGW的方法

引言 在高配置服务器,单个RGW的并发量无法充分使用机器的网络带宽资源,本文用于说明如何在单机上部署多RGW的方法。 如何使nginx和radosgw联合使用 如何使用配置多nginx,多radosgw 1.nginx...

西昆仑
2016/02/04
875
0

没有更多内容

加载失败,请刷新页面

加载更多

Sqoop 操作实例补充

导入指定字段和指定条件的行记录 # 指定导入的字段--columns <col,col,col…># 指定过滤条件--where <where clause># 设置切分的工作单元--split-by <column-name># 目标目录存在...

PeakFang-BOK
20分钟前
1
0
App store 侵权投诉

App Store Content Dispute 侵权投诉 https://www.apple.com/legal/internet-services/itunes/appstorenotices/#?lang=zh...

壹峰
23分钟前
0
0
教程:如何在window上安装Apache HTTP Server

Apache官网只提供 Apache HTTP Server 的源代码,不提供编译好的二进制文件。 不过我们还是可以从网络上找到其他人编译好的Apache HTTP Server。 首先,从 https://www.apachehaus.com/cgi-b...

Doxde
39分钟前
0
0
中国移动蔡谦:5G传输准备就绪

目前5G已成业界热议话题,在即将到来的万物互联时代,5G是非常关键的技术。且5G相比4G,业务场景多种多样,对5G承载网带来巨大挑战。5G传输,承载先行并不仅仅是一个口号。当前5G承载网的部署...

linux-tao
48分钟前
4
0
维护“修理权”,苹果使用专有软件工具来修复MacBook Pro和iMac Pro

根据上月发给苹果授权服务提供商的一份文件,苹果公司正在使用新的专有软件诊断工具来修复MacBook Pros和iMac Pros,如果不用专有软件工具来修复关键部件,将会导致“系统失效和修复不完整”...

linuxCool
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部