文档章节

关于ceph rgw设计的深入思考

2
 25641463
发布于 2017/06/10 15:26
字数 439
阅读 124
收藏 0

        ceph rados集群作为存储最底层数据组织及管理,需要使用c++实现大量的源生功能。但是rgw作为web service服务端,大部分功能不需要自己从头用c++高成本的开发,只需要与众多优秀的轻量级开源项目合作即可。就像python开发者提到的"life is short,use python"。ceph作为一个还处于早期的开源项目,后续必然会像openstack社区那样,一个功能分裂出更多的子项目。社区可能也已经意识到了这个问题,比如目前L版社区将管理功能从monitor节点剥离,rgw元数据集成elastic search查询功能等等。其实社区没有自己开发元数据查询功能,就是借助了els的能力,并没有重复造轮子,在c++不擅长的领域去与众多优秀项目pk,其实前2年青云的工程师也写文章提到了比如rgw metadata存储的弊端。

      在rgw内部,例如metadata元数据管理,之前出现过《ceph 惊魂72小时》的问题。其实metadata不适合存在osd里,直接可以利用一些大数据开源项目的数据组织思路,保存到单独的项目中。又如civetweb众所周知的并发性能差,开源社区有着众多的基于nginx高扩展性的框架。又如multisite实现了复杂的推拉机制同步数据,不如转头去结合一些优秀的相关开源项目进行。

      如果有实力的功能通过上述思路对rgw改造,可大大提高rgw的大规模可用性。

© 著作权归作者所有

共有 人打赏支持
2
粉丝 7
博文 15
码字总数 8009
作品 0
沈阳
高级程序员
私信 提问
Ceph v0.80.9 发行说明,分布式文件系统

Ceph v0.80.9 昨天正式发布:http://www.oschina.net/news/60353/ceph-0-80-9。 Ceph v0.80.9 firefly 是个 bug 修复版本,修复了 librbd 的性能回退问题;一个重要的 CRUSH 误操作;一些 RG...

oschina
2015/03/11
943
0
Ceph 0.94 发布,分布式文件系统

Ceph 0.94 发布, 此版本主要更新信息如下: RADOS Performance: a range of improvements have been made in the OSD and client-side librados code that improve the throughput on flas......

oschina
2015/04/08
1K
8
Ceph 9.0.3 发布,分布式文件系统

Ceph 9.0.3 发布,此版本最直观的改进是内部改进(用户不可见):OSD 的 ObjectStore 接口改进。同时还有大量关于 RGW,RBD 和其他 CephFS scrub/repair 方面的改进和修复。 更新 The return...

oschina
2015/08/25
1K
1
单机部署多CEPH-RGW的方法

引言 在高配置服务器,单个RGW的并发量无法充分使用机器的网络带宽资源,本文用于说明如何在单机上部署多RGW的方法。 如何使nginx和radosgw联合使用 如何使用配置多nginx,多radosgw 1.nginx...

西昆仑
2016/02/04
875
0
Ceph v0.87.1 发行说明,分布式文件系统

Ceph v0.87.1 发布,此版本是 Giant 第一个关键版本,也许是最终版本,主要关注 Hammer 和 Firefly 稳定性修复。 建议所有用户升级到最新版本! UPGRADING 因为 Linux Kernel 3.18 版本的改进...

oschina
2015/02/27
647
1

没有更多内容

加载失败,请刷新页面

加载更多

mgo初步接触

Intro mgo是mongodb的go语言绑定,第一次在静态类型语言中使用ORM,故留个笔记。 模型 mongodb是schema-less无模式的NoSQL非关系型数据库,理论上来说,在同一个表(mongodb中称为collectio...

御坂网络路由器
11分钟前
2
0
不要忽略异常(65)

请不要忽略异常, 尤其在api方法声明将会抛出的异常,这是定义者在试图说明某种问题 空的catch 块起到忽略异常的作用 对空的catch 块保持警惕,不应该出现 至少也要写明忽略该异常的原因 有一...

Java搬砖工程师
12分钟前
1
0
网站漏洞检测工具对discuzX3.2 X3.4网站漏洞修复

2018年12月9日,国内某安全组织,对discuz X3.2 X3.4版本的漏洞进行了公开,这次漏洞影响范围较大,具体漏洞是discuz 的用户前段SQL注入与请求伪造漏洞,也俗称SSRF漏洞,漏洞产生的原因首先...

网站安全
12分钟前
2
0
2018开发人员路线图

chinahufei
15分钟前
2
0
领哥,项目管理

领哥 https://www.leangoo.com/kanban/board_list

miaojiangmin
27分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部