文档章节

Redis集群(一):集群搭建

夜雨寄北09
 夜雨寄北09
发布于 2015/04/27 14:43
字数 3087
阅读 2.1K
收藏 35

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

概述

这里只记录操作步骤和集群测试,保证快速搭建集群环境。具体原理请查阅官方文档(中文版):

http://www.redis.cn/topics/cluster-spec.html

集群容灾:Redis集群(二):集群容灾

准备工作

  • 下载并编译redis

  • 创建6个以端口号为名字的目录,7000~7005,修改redis.conf的端口号

  • 修改配置:
    #节点必须作为集群节点启动,普通的Redis实例不能成为Redis集群的一部分。

    cluster-enabled yes
    #每个集群节点都有一个集群配置文件,这个文件不需要手工编辑,它由Redis节点创建和更新。每个Redis集群节点都需要一个不同的集群配置文件,确保统一系统中运行的实例没有重复的集群配置文件名。

    cluster-config-file nodes-6379.conf
    #集群节点超时是指当一个节点超时达到指定的毫秒数时让它处于失败状态。大多数其他内部时间限制是节点超时的倍数。

    cluster-node-timeout 15000
    #以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的,一定要开启
    appendonly yes

  • 分别启动这6个服务:src/redis-server redis.conf

安装Ruby环境(5.0版本不再需要)

sudo apt-get install ruby

安装ruby的redis接口:

sudo gem install redis

如果不安装,后面执行脚本会报错:

custom_require.rb:36:in `require': cannot load such file -- redis (LoadError)

from /usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'

from ./redis-trib.rb:25:in `<main>'

启动集群

进入到redis的src目录下,执行命令:

5.0版本:

redis要求集群至少有3个节点,这里为了方便,只启动了3个节点,没有为每个节点做一个从节点,所以--cluster-replicas为0

./redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 --cluster-replicas 0
命令返回信息:
>>> Performing hash slots allocation on 3 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
M: 3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000
   slots:[0-5460] (5461 slots) master
M: 2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001
   slots:[5461-10922] (5462 slots) master
M: 9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002
   slots:[10923-16383] (5461 slots) master
Can I set the above configuration? (type 'yes' to accept):

输入yes接受redis的上述配置,然后返回信息:
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: 3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000
   slots:[0-5460] (5461 slots) master
M: 9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002
   slots:[10923-16383] (5461 slots) master
M: 2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001
   slots:[5461-10922] (5462 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

5.0之前的版本:

./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

命令的意义如下:

  • 给定 redis-trib.rb 程序的命令是 create , 这表示我们希望创建一个新的集群。

  • 选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

  • 之后跟着的其他参数则是实例的地址列表, 我们希望程序使用这些地址所指示的实例来创建新集群。

查看集群目前状况

#-c:连接集群结点时使用,此选项可防止moved和ask异常。
$ redis-cli -c -p 7000
127.0.0.1:7000> cluster info
返回信息:
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:3
cluster_current_epoch:3
cluster_my_epoch:1
cluster_stats_messages_ping_sent:774
cluster_stats_messages_pong_sent:762
cluster_stats_messages_sent:1536
cluster_stats_messages_ping_received:760
cluster_stats_messages_pong_received:774
cluster_stats_messages_meet_received:2
cluster_stats_messages_received:1536

查看节点基本信息:

127.0.0.1:7002> cluster nodes
返回信息:
节点id                                     节点IP    端口         主从                               负责的Hash槽
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542785512690 2 connected 5461-10922
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 master - 0 1542785511654 1 connected 0-5460
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 myself,master - 0 1542785510000 3 connected 10923-16383

测试存值取值

注意:使用redic-cli命令连接时,必须加上-c参数,表示以集群的方式连接,这样在操作数据时会自动跳转到数据所在的节点。否则会收到类似提示:(error) MOVED 12182 127.0.0.1:7002。

127.0.0.1:7000> set foo bar
-> Redirected to slot [12182] located at 127.0.0.1:7002
OK

127.0.0.1:7002> set hello world
-> Redirected to slot [866] located at 127.0.0.1:7000
OK

127.0.0.1:7000> get foo
-> Redirected to slot [12182] located at 127.0.0.1:7002
"bar"

127.0.0.1:7000> get hello
-> Redirected to slot [866] located at 127.0.0.1:7000
"world"

添加Master节点到集群

  • 按照Redis集群一的方式,创建端口为7003的新实例,并启动该实例

  • 将7003添加到集群:
    第二个参数127.0.0.1:7000为当前集群已存在的节点,这里只要是该集群中的任意一个可用节点都可以,不要求必须是第一个。
    新节点不能有数据,否则会报错:[ERR] Node 127.0.0.1:7003 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0。一般是直接复制正在使用的redis目录导致的,使用redis-cli连接该服务,然后依次执行flushall和cluster reset命令。

./redis-cli --cluster add-node 127.0.0.1:7003 127.0.0.1:7000
返回信息:
>>> Adding node 127.0.0.1:7003 to cluster 127.0.0.1:7000
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: 3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000
   slots:[0-5460] (5461 slots) master
M: 9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002
   slots:[10923-16383] (5461 slots) master
M: 2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001
   slots:[5461-10922] (5462 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 127.0.0.1:7003 to make it join the cluster.
[OK] New node added correctly.

查看操作后的节点信息:

./redis-cli -c -p 7003
127.0.0.1:7003> cluster nodes
返回信息:
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542787865456 2 connected 5461-10922
a70d7fff6d6dde511cb7cb632a347be82dd34643 127.0.0.1:7003@17003 myself,slave 3bcdfbed858bbdd92dd760632b9cb4c649947fed 0 1542787863000 0 connected
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542787865000 3 connected 10923-16383
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 master - 0 1542787862000 1 connected 0-5460

可以看到7003节点的connected后面没有Hash槽(slot),新加入的加点是一个主节点, 当集群需要将某个从节点升级为新的主节点时, 这个新节点不会被选中,也不会参与选举。

  • 给新节点分配哈希槽:

#参数127.0.0.1:7000只是表示连接到这个集群,具体对哪个节点进行操作后面会提示输入
./redis-cli --cluster reshard 127.0.0.1:7000
返回信息:
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: 3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002
   slots:[10923-16383] (5461 slots) master
S: a70d7fff6d6dde511cb7cb632a347be82dd34643 127.0.0.1:7003
   slots: (0 slots) slave
   replicates 3bcdfbed858bbdd92dd760632b9cb4c649947fed
M: 2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001
   slots:[5461-10922] (5462 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

#根据提示选择要迁移的slot数量(这里选择1000)
How many slots do you want to move (from 1 to 16384)? 1000

#选择要接受这些slot的node-id(这里是7003)
What is the receiving node ID? a70d7fff6d6dde511cb7cb632a347be82dd34643

#选择slot来源:
#all表示从所有的master重新分配,
#或者数据要提取slot的master节点id(这里是7000),最后用done结束
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:3bcdfbed858bbdd92dd760632b9cb4c649947fed
Source node #2:done

#打印被移动的slot后,输入yes开始移动slot以及对应的数据.
Do you want to proceed with the proposed reshard plan (yes/no)? yes
#结束
  • 查看操作结果:

./redis-cli -c -p 7000
cluster nodes
返回信息:
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542790503483 3 connected 10923-16383
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 myself,master - 0 1542790503000 1 connected 1000-5460
e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003@17003 master - 0 1542790502458 4 connected 0-999
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542790504513 2 connected 5461-10922

    可以看到返回的集群信息中,7003拥有了0-999哈希槽,而7000变成了1000-5460

添加Slave节点到集群

  • 按照Redis集群一的方式,创建端口为7004的新实例,并启动该实例

  • 将7004添加到集群:
    由于没有指定master节点,所以redis会自动分配master节点,这里把7000作为7004的master。
    注意:add-node命令后面的127.0.0.1:7000并不是指7000作为新节点的master。

./redis-cli --cluster add-node 127.0.0.1:7004 127.0.0.1:7000 --cluster-slave
返回信息:
>>> Adding node 127.0.0.1:7004 to cluster 127.0.0.1:7000
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: 3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000
   slots:[1000-5460] (4461 slots) master
M: 9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002
   slots:[10923-16383] (5461 slots) master
M: e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003
   slots:[0-999] (1000 slots) master
M: 2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001
   slots:[5461-10922] (5462 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
Automatically selected master 127.0.0.1:7000
>>> Send CLUSTER MEET to node 127.0.0.1:7004 to make it join the cluster.
Waiting for the cluster to join

>>> Configure node as replica of 127.0.0.1:7000.
[OK] New node added correctly.
  • 也可以添加时指定master节点:
    --cluster-master-id为master节点的 id

./redis-cli --cluster add-node 127.0.0.1:7004 127.0.0.1:7000 --cluster-slave --cluster-master-id 2a8f29e22ec38f56e062f588e5941da24a2bafa0
  • 更改master节点为7002:

./redis-cli -p 7004
127.0.0.1:7004> cluster replicate 9b022d79cf860c87dc2190cdffc55b282dd60e42
OK

删除一个Slave节点

#redis-trib del-node ip:port '<node-id>'
#这里移除的是7004
./redis-cli --cluster del-node 127.0.0.1:7000 74957282ffa94c828925c4f7026baac04a67e291
返回信息:
>>> Removing node 74957282ffa94c828925c4f7026baac04a67e291 from cluster 127.0.0.1:7000
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.

删除一个Master节点

删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除master的slot迁移到一个节点上)

./redis-cli --cluster reshard 127.0.0.1:7000
#根据提示选择要迁移的slot数量(7003上有1000个slot全部转移)
How many slots do you want to move (from 1 to 16384)? 1000
#选择要接受这些slot的node-id
What is the receiving node ID? 3bcdfbed858bbdd92dd760632b9cb4c649947fed
#选择slot来源:
#all表示从所有的master重新分配,
#或者数据要提取slot的master节点id,最后用done结束
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:a70d7fff6d6dde511cb7cb632a347be82dd34643
Source node #2:done
#打印被移动的slot后,输入yes开始移动slot以及对应的数据.
#Do you want to proceed with the proposed reshard plan (yes/no)? yes
#结束

#删除空master节点
./redis-cli --cluster del-node 127.0.0.1:7000 'a70d7fff6d6dde511cb7cb632a347be82dd34643'

故障测试

 启动一个集群,其中7004节点是7003节点的从节点:

127.0.0.1:7003> cluster nodes
ea4e0dcf8dbf6d4611659b5abbd6563926224f0f 127.0.0.1:7004@17004 slave e852e07181f20dd960407e5b08f7122870f67c89 0 1542793126295 4 connected
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 master - 0 1542793125260 1 connected 1000-5460
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542793124000 2 connected 5461-10922
e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003@17003 myself,master - 0 1542793124000 4 connected 0-999
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542793126000 3 connected 10923-16383

在集群中添加了key:"hello",该key被放到了7003节点

127.0.0.1:7002> set hello world
-> Redirected to slot [866] located at 127.0.0.1:7003
OK

让7003节点崩溃:

./redis-cli -p 7003 debug segfault
Error: Server closed the connection

查看节点状态,发现7003状态为fail,7004被提升为master

127.0.0.1:7000> cluster nodes
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542793571000 3 connected 10923-16383
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 myself,master - 0 1542793570000 1 connected 1000-5460
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542793571422 2 connected 5461-10922
ea4e0dcf8dbf6d4611659b5abbd6563926224f0f 127.0.0.1:7004@17004 master - 0 1542793572442 5 connected 0-999
e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003@17003 master,fail - 1542793477237 1542793474000 4 disconnected

从集群获取"hello",被转发到7004

127.0.0.1:7000> get hello
-> Redirected to slot [866] located at 127.0.0.1:7004
"world"

重新启动7003,发现7003自动加入集群,并变成了slave

127.0.0.1:7004> cluster nodes
ea4e0dcf8dbf6d4611659b5abbd6563926224f0f 127.0.0.1:7004@17004 myself,master - 0 1542793764000 5 connected 0-999
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 master - 0 1542793765000 1 connected 1000-5460
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542793765560 2 connected 5461-10922
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542793764529 3 connected 10923-16383
e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003@17003 slave ea4e0dcf8dbf6d4611659b5abbd6563926224f0f 0 1542793766585 5 connected

获取"hello",被转发到master节点7004

127.0.0.1:7002> get hello
-> Redirected to slot [866] located at 127.0.0.1:7004
"world"

将7003和7004都下线,然后再获取"hello",报错提示集群已下线

127.0.0.1:7000> cluster nodes
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542794095233 3 connected 10923-16383
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 myself,master - 0 1542794094000 1 connected 1000-5460
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542794096261 2 connected 5461-10922
ea4e0dcf8dbf6d4611659b5abbd6563926224f0f 127.0.0.1:7004@17004 master,fail - 1542794075628 1542794074000 5 disconnected 0-999
e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003@17003 slave,fail ea4e0dcf8dbf6d4611659b5abbd6563926224f0f 1542794070058 1542794067000 5 disconnected

127.0.0.1:7000> get hello
(error) CLUSTERDOWN The cluster is down

启动7003,报错,原因是7003下线时是7004的从节点,启动后默认去主节点同步数据。

Connecting to MASTER 127.0.0.1:7004
MASTER <-> REPLICA sync started
Error condition on socket for SYNC: Connection refused

启动7004,获取"hello",恢复正常

127.0.0.1:7002> get hello
-> Redirected to slot [866] located at 127.0.0.1:7004
"world"

集群故障修复

现在有7000~7003共4个节点的集群,其中0~999slot在7003上,"set hello world"并被分配到7003。

127.0.0.1:7000> cluster nodes
e852e07181f20dd960407e5b08f7122870f67c89 127.0.0.1:7003@17003 master - 0 1542852396911 6 connected 0-999
9b022d79cf860c87dc2190cdffc55b282dd60e42 127.0.0.1:7002@17002 master - 0 1542852395887 3 connected 10923-16383
2a8f29e22ec38f56e062f588e5941da24a2bafa0 127.0.0.1:7001@17001 master - 0 1542852394863 2 connected 5461-10922
3bcdfbed858bbdd92dd760632b9cb4c649947fed 127.0.0.1:7000@17000 myself,master - 0 1542852395000 1 connected 1000-5460

关闭7003之后,在集群做任何存取值操作都会报错:(error) CLUSTERDOWN The cluster is down。原因是0~999 sloat在7003上,Redis认为slot不完整,所以报错。

127.0.0.1:7000> get hello
(error) CLUSTERDOWN The cluster is down
127.0.0.1:7000> get foo
(error) CLUSTERDOWN The cluster is down

执行fix命令,提示无法连接,因为7003已经被关闭了[Facepalm]

./redis-cli --cluster fix 127.0.0.1:7003
Could not connect to Redis at 127.0.0.1:7003: Connection refused

重新开启7003恢复正常。

夜雨寄北09
粉丝 17
博文 17
码字总数 17016
作品 0
浦东
程序员
私信 提问
加载中
此博客有 2 条评论,请先登录后再查看。
Redis 3.0集群(二):集群管理

注:建议查看Redis集群(一):集群搭建 在Redis集群(一):集群搭建中讲了Redis集群的基本搭建。这一节主要讲对Redis集群的操作。 添加Master节点到集群 按照Redis集群一的方式,创建端口为700...

夜雨寄北09
2015/04/27
3.4K
2
[Redis] 手动搭建标准6节点Redis集群(docker)

准备 环境配置 docker redis镜像 redis版本为 5.0.4 docker 集群网络 网关Gateway: 172.18.0.1 集群挂载目录 打算开启6个节点, 3对主从节点搭建集群 开放7000~7005端口, 即根据端口号创建6个...

osc_wc3dz06y
2019/10/08
53
0
(六)Redis集群搭建

原理 redis cluster在设计的时候,就考虑到了去中心化,去中间件,也就是说,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有...

osc_qr60luhs
2018/12/24
2
0
docker redis4.0 集群(cluster)搭建

前言  redis集群对于很多人来说非常熟悉,在前些日子,我也有一位大兄弟也发布过一篇关于在阿里云(centOS7)上搭建redis 集群的文章,虽然集群搭建的文章在网上很多,我比较喜欢这篇文章的...

osc_r50mebj9
2018/06/28
1
0
redis集群搭建

  Redis 是一个开源的 key-value 存储系统,由于出众的性能,大部分互联网企业都用来做服务器端缓存。Redis 在3.0版本前只支持单实例模式,虽然支持主从模式、哨兵模式部署来解决单点故障,...

osc_jor8x3el
2018/07/14
1
0

没有更多内容

加载失败,请刷新页面

加载更多

​DAX 2 中文版在线学习

阅读学习传送门 本文分享自微信公众号 - PowerBI战友联盟(powerbichina)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...

BI佐罗
2019/11/17
0
0
《OpenCV 4快速入门》终于见面啦!

近几个月以来,有众多小伙伴在公众号后台或者微信群里询问《OpenCV 4快速入门》出版的进度。非常感谢大家对本书的关注和期待,经过了不断地修改和完善,这次终于可以大声的告诉各位小伙伴。 ...

小白学视觉
06/16
0
0
GitHub 通过 jsdelivr CDN加持

GitHub 通过 jsdelivr CDN加持 两种引用方式: 存入仓库分支里面,直接引用 创建版本号后,在引用 在这是不是很好奇,为什么引用要弄成这么麻烦。网上我看过类似教程,他们总是忽略一个关键的...

Zero游戏人生丶
28分钟前
0
0
百人计划 5期 启动报名

温馨提醒: 1. 在2月22日24点前,此公号后台回复「百人计划」可先预定再报名,可以省100 RMB 2. 在2月25日24点前,报名成功的,省50 RMB 3. 一旦报名,一律不退费(建议报名前,想清楚,再报...

IDO老徐
02/20
8
0
Android小知识-如何加载外部dex文件中的类

想要了解插件化,首先得知道如何加载外部的dex文件,这里的插件APK会存放在主APP的assets目录中,用于模拟服务器下载插件。 第一步:创建主项目和插件项目 先创建我们的主项目,并在项目中创...

音视频开发进阶
05/13
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部