ceph 对象存储配置zone 同步
博客专区 > zrz11 的博客 > 博客详情
ceph 对象存储配置zone 同步
zrz11 发表于4个月前
ceph 对象存储配置zone 同步
  • 发表于 4个月前
  • 阅读 42
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云实验室 1小时搭建人工智能应用,让技术更容易入门 免费体验 >>>   

环境:ceph v10.2.3(jewel)、ubuntu16.04

                                     -----------us-east------rgw.node2

                                    |        (master zone)      (ceph-1 radosgw 实例)

                                    |

Movies----us----------

(realm)   (zonegroup)   |

                                     |

                                     -----------us-west------------rgw.node3

                                             ( secondary zone)     (ceph-2 radosgw 实例)

一、概念:      

    1、zone:可用区,有一个或多个对象网关实例组成。zone不可以跨集群,配置zone不同于其他典型配置,因为不需要在ceph.conf中配置。

    2、zonegroup:以前叫做“region”,有多个zone组成,一个zonegroup里面有一个master zone,在同一个zonegroup中的多个zone可以同步元数据和数据,提供灾难恢复能力。

    3、realm:代表一个唯一的命名空间,有一个或多个zonegroup组成。在同一个realm中的不同zonegroup只能同步元数据。在realm中有period的概念,表示zonegroup的配置状态,修改zonegroup,必须更新period。

二、在ceph-1集群上配置master zone

      1、创建realm

      radosgw-admin realm create --rgw-realm=movies --default

     如果没有指定default 后面在配置zone 和zonegroup的时候要指定realm

      2、创建master zonegroup

      radosgw-admin zonegroup create --rgw-zonegroup=us --endpoints=http://10.33.0.13:80  --master --default

      3、创建master zone

      radosgw-admin zone create  --rgw-zone=us-east --master --default --endpoints=10.33.0.13:80

      4、创建一个system账户用于和us-west zone同步

       radosgw-admin user create --uid="synchronization-user" --display-name="Synchronization User" --system

     5、用创建system账户产生的access 和secret更新zone配置

     radosgw-admin zone modify --rgw-zone=us-east --access-key={access-key} --secret={secret}

    6、更新period

    radosgw-admin period update --commit

     7、配置ceph.conf

     [client.rgw.node2]

          host = node2

          rgw frontends = "civetweb port=80"

          rgw_zone=us-east

    8、搭建radosgw

       见https://my.oschina.net/u/2326998/blog/838611

三、在ceph-2集群上配置secondary zone

       1、从master zone拉取realm

       radosgw-admin realm pull --url=http://10.33.0.13:80 --access-key={access-key} --secret={secret}

       note:这里的access key 和secret是master zone上system 账户的access key和secret

      2、拉取period

      radosgw-admin period pull --url=http://10.33.0.13:80 --access-key={access-key} --secret={secret}

     note:这里的access key和secret 同上

     3、创建secondary zone

       radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-west \

                            --access-key={system-key} --secret={secret} \

                            --endpoints=http://10.33.0.40:80

       note:这里的access key和secret是在master zone中system账户的创建的。

    4、更新period

       radosgw-admin period update --commit

       note:如果出现认证错误,重启master zone的实例服务

    5、配置ceph.conf

       [client.rgw.rgw2]

        host = node3

        rgw frontends = "civetweb port=80"

        rgw_zone=us-west

    6、搭建radosgw

     见https://my.oschina.net/u/2326998/blog/838611

 

四、验证zone之间数据同步

     1、在secondary zone节点执行

        radosgw-admin sync status

              realm 89daf245-1a59-44d4-b3f9-d8b141dfb226 (movies)

      zonegroup 398ed754-1d07-497d-ad35-84ec99c36f21 (us)

           zone b5752408-e416-4b9c-919e-924d624ea290 (us-west)

  metadata sync syncing

                full sync: 0/4 shards

                metadata is caught up with master

                incremental sync: 4/4 shards

      data sync source: 73dbf160-d57d-41b5-9870-97fe7e7e7c1a (us-east)

                        syncing

                        full sync: 0/8 shards

                        incremental sync: 8/8 shards

                        data is caught up with source

  

  可以看到数据和元数据都已同步

   2、在master zone节点上创建用户

      radosgw-admin user create --uid="testuser" --display-name="First User"

   3、  用s3客户端 创建桶,并put 对象

**注意 在secondary zone节点上也要创建相同的用户才会看到创建的桶,和上传的对象**。

共有 人打赏支持
粉丝 2
博文 15
码字总数 7262
×
zrz11
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: