加载中
Ceph亚太峰会RGW议题分享

Ceph亚太峰会RGW部分议题分享 本次Ceph亚太峰会干货最实在的的要数Redhat的《Common Support Issues and How to Troubleshoot Them》这里把RGW部分摘出来,和大家分享一下,本次议题主要是涉...

RGW方案的ceph版本选型-hammer、jewel、Luminous

测试环境介绍 1. boto 版本2.46.1 2. s3cmd version 1.6.1 3. ceph version: 12.0.1/12.0.0/10.2.6 4. OS:Linux 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt11-1+deb8u6 (2015-11-09) x86_64 ...

RGW方案的ceph版本选型-hammer、jewel、Luminous

测试环境介绍 1. boto 版本2.46.1 2. s3cmd version 1.6.1 3. ceph version: 12.0.1/12.0.0/10.2.6 4. OS:Linux 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt11-1+deb8u6 (2015-11-09) x86_64 ...

《基于Ceph的S3对象存储实战》目录

截止到今天,已经完成一套基于Ceph的S3对象存储的方案设计与落地,线上规模大致在≥10PB,下半年准备总结一下项目过程中的各种经验,写本基于Ceph的S3对象存储实战,暂定一个目录,预计年底出...

RGW endpoint绑定多域名

RGW endpoint绑定多域名 RGW多域名配置说明 L版本的ceph.conf中的rgw_dns_name字段只支持单个域名,如果你使用下面的配置格式都是错误的 rgw_dns_name = demo1.s3.cephbook.com,demo2.s3.ce...

2018/10/15 12:43
42
rgw static website 配置与测试

1.该功能仅支持J版本以上版本 2.目前boto测试功能可用 3.对DNS依赖较大,用户自己需要做一些S3以外的配置 4.需要开放public-read权限,用户需要做好自身安全配置 5.用于存放静态页面数据,ht...

2017/04/05 11:43
87
拜年啦-聊聊RGW新特性

12.2.3的RGW新特性 数据缓存支持 12.2.3加强了对rgw的cache支持,之前版本cache只是实现了对元数据的缓存,新版的L版本开始实现以对象为单位的数据缓存,同样也是基于LRU算法,相信在一些频繁...

基于RGW的多媒体处理框架

基于RGW的多媒体处理框架 背景 业务需要在原有RGW的服务基础上加上对多媒体类资源的处理,比如图片resize、视频转码等。参考过七牛云等多个厂家的设计,发现对方的多媒体类处理都是在URL里面...

rgw灰度升级方法

生产环境对S3对应的rgw和ceph环境进行小版本升级

2016/06/27 17:08
189
RGW Bucket Shard设计与优化-上

1 bucket index背景简介 bucket index是整个RGW里面一个非常关键的数据结构,用于存储bucket的索引数据,默认情况下单个bucket的index全部存储在一个shard文件(shard数量为0,主要以OMAP-ke...

2017/08/13 09:09
18
RGW性能监控及源码实现

1 性能计数器实现 性能计数器启动过程 #src/rgw/rgw_main.cc int main(int argc, const char **argv) ... if (g_conf->daemonize) { global_init_daemonize(g_ceph_context); } Mutex mutex...

利用bucket localtion实现rgw集群扩容

利用bucket localtion实现rgw集群扩容

2016/07/07 16:03
1.2K
RGW Bucket Shard设计与优化-下

OMAP过大的OSD服务恢复 当bucket index所在的OSD omap过大的时候,一旦出现异常导致OSD进程崩溃,这个时候就需要进行现场"救火",用最快的速度恢复OSD服务,于是有了下面这篇文章。 先确定对...

2017/09/06 11:15
20
简谈RGW的index shard计算

在RGW里面每个存储到rados的Object都需要先计算出对应元数据存储的shard number,之后再将元数据信息更新到shard number对应的Object里面。代码如下所示 int RGWRados::get_bucket_index_obj...

2017/10/13 15:47
9
RGW 的GC深入解析与调优

什么是GC Garbage Collection缩写GC,简称垃圾回收。在RGW中GC一般都是指一些异步的磁盘空间回收操作,一般下面三种情况会发生GC。 1. 客户端执行删除Object操作,对应的Object所占用的磁盘空...

S3奇淫技巧--禁止S3用户删除Object

需求描述:需要关闭某些S3账号的删除权限,但是默认DELETE操作是由bucket WIRTE权限进行控制的,无法单独拆分DELETE操作。 解决思路: 1. 过滤前端HTTP请求的DELETE操作(需要写点代码) 2. 修改...

2017/05/27 16:17
65
RGW Bucket Shard设计与优化-中

如何缓解 index shard 过大造成的影响 下面这些都是属于应急操作,属于快速止血止痛,部分操作属高危,一定要谨慎使用。 1 调整OSD的几个op超时参数 下面的几个参数只是用例,具体根据各位线...

2017/08/23 14:39
58
隔山打牛之-借助nginx解析rgw日志

隔山打牛之-借助nginx解析rgw日志 需求及背景 知识tips:一般情况下每一个客户端发往RGW的HTTP请求都会在其header里面包含authorization这个字段,该字段中包含了用户的Access_key信息,但是A...

RGW 服务端加密爬坑记

RGW 服务端加密爬坑记 参考了官方文档,决定采用 Customer-Provided Keys(Amazon SSE-C)方式进行加密 官网地址: http://docs.ceph.com/docs/master/radosgw/encryption/ 使用boto3,测试用例...

s3cmd 连接rgw的signature版本问题

signature v4 只有10.2.0版本的ceph才开始支持,遇上一个小坑,分享一下。

2016/04/29 20:51
2.9K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部