文档章节

关于ceph rgw设计的深入思考

2
 25641463
发布于 2017/06/10 15:26
字数 439
阅读 524
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

        ceph rados集群作为存储最底层数据组织及管理,需要使用c++实现大量的源生功能。但是rgw作为web service服务端,大部分功能不需要自己从头用c++高成本的开发,只需要与众多优秀的轻量级开源项目合作即可。就像python开发者提到的"life is short,use python"。ceph作为一个还处于早期的开源项目,后续必然会像openstack社区那样,一个功能分裂出更多的子项目。社区可能也已经意识到了这个问题,比如目前L版社区将管理功能从monitor节点剥离,rgw元数据集成elastic search查询功能等等。其实社区没有自己开发元数据查询功能,就是借助了els的能力,并没有重复造轮子,在c++不擅长的领域去与众多优秀项目pk,其实前2年青云的工程师也写文章提到了比如rgw metadata存储的弊端。

      在rgw内部,例如metadata元数据管理,之前出现过《ceph 惊魂72小时》的问题。其实metadata不适合存在osd里,直接可以利用一些大数据开源项目的数据组织思路,保存到单独的项目中。又如civetweb众所周知的并发性能差,开源社区有着众多的基于nginx高扩展性的框架。又如multisite实现了复杂的推拉机制同步数据,不如转头去结合一些优秀的相关开源项目进行。

      如果有实力的功能通过上述思路对rgw改造,可大大提高rgw的大规模可用性。

© 著作权归作者所有

2
粉丝 7
博文 15
码字总数 8009
作品 0
沈阳
高级程序员
私信 提问
加载中

评论(0)

Ceph 之RGW Cache

Overview 缓存是为达到系统快速响应的一项关键技术,Ceph 作为一个复杂的分布式存储系统,有多种、多级缓存存在。缓存按照位置分为: 客户端缓存 服务端缓存 网络中缓存 按照部署方式分为: ...

osc_lnvseat3
04/16
8
0
单机部署多CEPH-RGW的方法

引言 在高配置服务器,单个RGW的并发量无法充分使用机器的网络带宽资源,本文用于说明如何在单机上部署多RGW的方法。 如何使nginx和radosgw联合使用 如何使用配置多nginx,多radosgw 1.nginx...

西昆仑
2016/02/04
1.3K
0
Ceph RGW bucket 自动分片介绍和存在的问题

工作中存储集群使用了 Ceph 技术,所用的是版本是 Luminous 12.2.4,因为刚刚上手 Ceph,不少概念和问题也都是头一次听说,比如这次的自动分片(auto resharding)。不得不说,Ceph 对象存储...

blackpiglet
2018/08/14
0
0
radosgw 的civetweb 配置与排错

在64bit debian8 下面使用的仍然是sysinit,运行ceph-deploy rgw create 新建rgw的时候,提示rgw服务无法启动,排查如下: 检查ceph auth配置 ceph auth已经生成了一个client.rgw.demo的用户...

秦牧羊
2015/09/17
896
0
RGW S3 GC解析

RGW S3 GC类的主要功能是提供垃圾收集器的功能。用于异步删除对象。 一、RGW S3 GC核心类关系图 二、RGW S3 GC核心数据类关系图 三、RGW S3 GC主要处理函数解析。 1、RGWGC初始化操作。 RGWG...

linuxhunter
2016/04/15
510
0

没有更多内容

加载失败,请刷新页面

加载更多

2020中台建设-技术中台的搭建和运营

2020中台建设-技术中台的搭建和运营

Original123
27分钟前
22
0
CTO:不要在 Java 代码中写 set/get 方法了,逮一次罚款

前言 what?你的 Java 代码中还充斥着大量的 set/get 方法? 我们在刚开始学习 Java 语言的时候讲过,面向对象的三大特征就是封装,继承,和多态。在 Java 中,要保证封装性,需要将成员变量...

码农突围
37分钟前
21
0
为什么不推荐去做安全测试工程师?

对,你没看错。我不推荐大家去做安全测试工程师。 为什么不推荐大家去做安全测试? 今天,很多软件并没有经过专门的安全测试便运行在互联网上,它们携带着各类安全漏洞直接暴露在公众面前,其...

爱码小哥
54分钟前
32
0
Go Gin 简明教程

https://geektutu.com/post/quick-go-gin.html

Java搬砖工程师
今天
19
0
如何更改远程Git存储库的URI(URL)? - How to change the URI (URL) for a remote Git repository?

问题: I have a repo (origin) on a USB key that I cloned on my hard drive (local). 我在硬盘驱动器(本地)上克隆的USB密钥上有一个回购(来源)。 I moved "origin" to a NAS and succ......

技术盛宴
今天
26
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部