文档章节

支撑微博亿级社交平台,小白也能玩转Redis集群(实战篇)

分布式系统架构
 分布式系统架构
发布于 10/22 08:27
字数 1555
阅读 20
收藏 0

上篇文章《支撑微博亿级社交平台,小白也能玩转Redis集群(原理篇)》介绍了Redis集群相关原理,这篇文章将介绍Redis Cluster集群的搭建、配置,运维、扩容等具体操作

集群搭建

2018年10月 Redis 发布了稳定版本的 5.0 版本,推出了各种新特性,其中一点是集群管理工具从基于Ruby的redis-trib.rb移植到基于C语言redis-cli中,方便集群的构建和管理

Redis Cluster集群运行至少需要包含3个主节点,实现高可用最少需要3主3从6个节点

以下步骤基于Redis 5.0.5版本,介绍如何在一台 Linux 服务器上搭建有3主3从的6节点的 Redis集群

  • 步骤1 创建安装目录
mkdir -p /data/project/redis-cluster
  • 步骤2 下载源码并解压编译
cd /data/project/redis-cluster
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar xzf redis-5.0.5.tar.gz
cd redis-5.0.5
make

执行make后,如果报错“jemalloc/jemalloc.h:没有那个文件或目录”,可以改为用以下命令:

make MALLOC=libc
  • 步骤3 创建6个Redis配置文件 6个配置文件不能在同一个目录,下面Redis 6个节点分别安装在7000~7005端口 首先创建配置文件目录及文件,定义如下:
mkdir -p /data/project/redis-cluster/nodes/7000
mkdir -p /data/project/redis-cluster/nodes/7001
mkdir -p /data/project/redis-cluster/nodes/7002
mkdir -p /data/project/redis-cluster/nodes/7003
mkdir -p /data/project/redis-cluster/nodes/7004
mkdir -p /data/project/redis-cluster/nodes/7005

touch /data/project/redis-cluster/nodes/7000/redis.conf
touch /data/project/redis-cluster/nodes/7001/redis.conf
touch /data/project/redis-cluster/nodes/7002/redis.conf
touch /data/project/redis-cluster/nodes/7003/redis.conf
touch /data/project/redis-cluster/nodes/7004/redis.conf
touch /data/project/redis-cluster/nodes/7005/redis.conf

redis.conf配置文件的内容为:

############################## 网络 ##############################
# 端口
port 7000
# 非保护模式,如果值为yes,则必须是 bind配置指定的ip的机器连接或者使用密码连接
protected-mode no 

############################## 通用 ##############################
# 后台运行
daemonize yes 
# 记录redis进程pid
pidfile  /var/run/redis_7000.pid

############################## 集群 ##############################
# 启用集群模式
cluster-enabled yes 
cluster-config-file nodes_7000.conf
# 集群节点如果在该超时时间(毫秒)内不可达,则认为节点处于故障状态
cluster-node-timeout 5000

############################## 持久化 ##############################
# AOF, RDB持久化文件目录
dir /data/project/redis-cluster/nodes
# 开启AOF持久化
appendonly yes
# AOF文件名
appendfilename "appendonly_7000.aof"
# 当目前aof文件大小超过上一次重写的aof文件大小的百分之多少进行重写
auto-aof-rewrite-percentage 100
# 设置允许重写的最小aof文件大小,避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb
# RDB文件名
dbfilename dump_7000.rdb

其中 port 、 pidfile、cluster-config-file、appendfilename、 dbfilename配置需要随着节点的不同而调整

配置项说明可以参考redis-5.0.5/redis.conf,每一项都介绍得很详细,推荐阅读

  • 步骤4 启动节点
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7000/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7001/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7002/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7003/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7004/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7005/redis.conf

ps -ef|grep redis,可以看到6个redis进程已启动:

  • 步骤5 启动集群 使用如下命令启动集群,IP地址自行替换:
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster create 192.168.56.102:7000 192.168.56.102:7001 192.168.56.102:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005 --cluster-replicas 1

启动成功信息如下:

到此,Redis Cluster 集群搭建完成

集群信息查看

Redis5的redis-cli新增系列集群运维功能,查看命令详情:

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster help

命令参数具体作用可以参考官方文档,下面会基于其中一些常用命令对集群进行管理

  • 检查节点状态
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster check 192.168.56.102:7000

  • 查看集群信息
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster info 192.168.56.102:7000

集群扩容

集群现在有3主3从,下面新增4个节点扩容变成5主5从

  • 步骤1 启动新节点 创建4个Redis配置文件,端口号为7006~7009,然后启动节点(参考“集群搭建”的步骤3和步骤4)
  • 步骤2 新节点加入集群 设置4个节点分别加入已有redis集群,2个为主节点,2个为从节点
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7006 192.168.56.102:7005 
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7007 192.168.56.102:7005 

# 24e2c是节点7006的id,代表该节点加入集群并为7006的从节点
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7008 192.168.56.102:7005 --cluster-slave --cluster-master-id 24e2c369678952b07d95c0a4b49c2d7a7b2e2bf7 
# 24e2c是节点7007的id,代表该节点加入集群并为7007的从节点
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7009  192.168.56.102:7005 --cluster-slave --cluster-master-id ab0f74a19819a74238df7a510494e9418678cbe1

此时集群状态如下,其中主节点7006和主节点7007还没分配任何slot,在下面的步骤会进行分配:

  • 步骤3 模拟slot重新平衡分配 基于rebalance命令,增加--cluster-simulat参数,查看会迁移哪些slots,而不会真正执行迁移操作
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters  --cluster-simulat

返回以下迁移信息:

  • 步骤4 执行slot重新平衡分配 执行rebalance命令,平衡集群节点slot数量,重新分配slot( 去掉--cluster-simulat)
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters

至此,集群扩容完成,集群缩容的话,需要基于reshard将需被下线的结点中的slot移到其他结点,然后基于del-node命令删除结点

总结

这篇文章介绍Redis Cluster集群一些基本实现,篇幅所限,后面有机会再展开介绍Redis一些线上问题踩坑经验、监控运维平台建设,欢迎继续关注

参考

redis cluster管理工具redis-trib-rb详解 http://weizijun.cn/2016/01/08/redis%20cluster管理工具redis-trib-rb详解/

© 著作权归作者所有

分布式系统架构
粉丝 1
博文 8
码字总数 29312
作品 0
广州
私信 提问
45节课从零到一掌握 Redis 核心原理与应用实践

Redis 是互联网技术架构在存储系统中使用最为广泛的中间件,它也是中高级后端工程师技术面试中面试官最喜欢问的工程技能之一,特别是那些优秀的、竞争激烈的大型互联网公司(比如 Twitter、新...

江江也叫Glowin
2018/12/09
0
0
2016文章汇总

Java系列: JVM系列:jvm基本结构 JVM系列:java中JVM的原理 JVM系列:解决JVM最大内存设置问题 JVM系列:JVM参数设置、分析 HashMap , HashTable , ConcurrentHashMap 源码比较 从使用到原理学习...

www19
2017/01/03
0
0
Redis 深度历险:核心原理与应用实践

内容介绍 Redis 是互联网技术架构在存储系统中使用最为广泛的中间件,它也是中高级后端工程师技术面试中面试官最喜欢问的工程技能之一,特别是那些优秀的、竞争激烈的大型互联网公司(比如 ...

技术小能手
2018/08/01
0
0
解密微博红包:架构、防刷、监控和资源调度

编者按与传统意义上的红包相比,近两年火起来的“红包”,似乎才是如今春节的一大重头戏。历经上千年时代传承与变迁,春节发红包早已成为历史沉淀的文化习俗,融入了民族的血脉。按照各家公布...

技术小阿哥
2017/11/27
0
0
国内外三个不同领域巨头分享的Redis实战经验及使用场景(一)

摘要:随着数据体积的激增,MySQL+memcache已经满足不了大型互联网类应用的需求,许多机构也纷纷选择Redis作为其架构上的补充,下面就一览新浪微博、Pinterest及Viacom的实践分享。 随着应用...

zyt_1978
2016/03/21
28
0

没有更多内容

加载失败,请刷新页面

加载更多

前端的一些雕虫小技,从100%和滚动条说起

1、100%和滚动条 当我们在css中把html和body同时设为100%时,会出现滚动条 html, body { width: 100%; height: 100%; } 原因是html和b...

wphmoon
34分钟前
6
0
电力区块链应用案例【2019】

随着区块链技术的日益普及,出现了大量创业企业尝试使用区块链技术来解决能源与电力行业中存在的问题。在本文中,我们将介绍其中的三个能源区块链项目。 能源行业以价格不透明著称:消费者很...

汇智网教程
55分钟前
7
0
聊聊rocketmq的adjustThreadPoolNumsThreshold

序 本文主要研究一下rocketmq的adjustThreadPoolNumsThreshold DefaultMQPushConsumer rocketmq-client-4.5.2-sources.jar!/org/apache/rocketmq/client/consumer/DefaultMQPushConsumer.ja......

go4it
今天
9
0
关于早起

早起是非常好的事情,但是像如果前一天睡得晚,或者第二天早上是非常冷的时候,那就不是很美好了。 但是本身早起是一件非常棒的事情,我记得我每次早起 如果不觉得困的话,世界是那么安静,脑...

T型人才追梦者
今天
7
0
Java输入输出

JDK中的InputStream/OutputStream构成了IO输入输出继承层次的基础。它们都是面向字节序列的,每次可以从序列中读入或者写出一个字节或者指定大小的字节数组。但是面向字节流的输入输出不便于...

ytuan996
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部