文档章节

redis sentinel 主从切换(failover)解决方案,详细配置

明舞
 明舞
发布于 2015/08/24 20:15
字数 2281
阅读 67
收藏 2
点赞 0
评论 0

redis sentinel 主从切换(failover)解决方案,详细配置


作者:oyhk   2013-10-10 23:55:49    0 评论    629浏览


《Redis源码学习笔记》文章列表 

由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^ 

主从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库,并且按照数据流向,数据的发送者我们称作master,数据的接受者我们称作slave(master/slave的划分并不是那么一定的,譬如B可以作为A的slave,但同时也可以作为C的master),下面就从slave和master的角度分别说明主从复制流程。 

首先是slave端,对于slave端来说,主从复制主要经历四个阶段: 

第一阶段:与master建立连接 
第二阶段:向master发起同步请求(SYNC) 
第三阶段:接受master发来的RDB数据 
第四阶段:载入RDB文件 

下面我们就通过一个图来概述在每一个阶段中,slave究竟做了些什么: 



关于上图,有一点说明下:redis接收到slaveof master_host master_port命令后并没有马上与master建立连接,而是当执行服务器例行任务serverCron,发现自己正处于REDIS_REPL_CONNECT状态,这时才真正的向maser发起连接,伪代码: 
Python代码   收藏代码
  1. def serverCron():  
  2.     # 服务器处于REDIS_REPL_CONNECT状态  
  3.     if redisServer.repl_state == REDIS_REPL_CONNECT:  
  4.         # 向master发起连接  
  5.         connectWithMaster()  
  6.     # 其他例行任务(省略)...  


接着我们来看下主从复制过程中,master这边的流程是如何,在具体看细节之前,我们先综合来看master这边主要做的几件事情: 

 

看完这个图,你也许会有以下几个疑问: 

1. 为什么在master发送完RDB文件后,还要定期的向slave发送PING命令? 
2. 在发送完RDB文件之后,master发送的“变更”命令又是什么,有什么用? 

在回答问题之前1,我们先回答问题2: 
master保存RDB文件是通过一个子进程进行的,所以master依然可以处理客户端请求而不被阻塞,但这也导致了在保存RDB文件期间,“键空间”可能发生变化(譬如接收到一个客户端请求,执行"set name diaocow"命令),因此为了保证数据同步的一致性,master会在保存RDB文件期间,把接受到的这些可能变更数据库“键空间”的命令保存下来,然后放到每个slave的回复列表中,当RDB文件发送完master会发送这些回复列表中的内容,并且在这之后,如果数据库发生变更,master依然会把变更的命令追加到回复列表发送给slave,这样就可以保证master和slave数据的一致性!相关伪代码: 

Python代码   收藏代码
  1. def processCommand(cmd, argc, argv):  
  2.     # 处理命令  
  3.     call(cmd, argc, argv)  
  4.     # 如果该命令造成数据库键空间变化and当前redis是一个master,则同步变更命令  
  5.     if redisServer.update_key_space and len(redisServer.slaves) > 0:  
  6.         replicationFeedSlaves(cmd, argc, argv)  
  7.   
  8. def replicationFeedSlaves(cmd, argc, argv):   
  9.     # 把变更命令发送给每一个处于:REDIS_REPL_WAIT_BGSAVE_END状态的slave节点  
  10.     for slave in redisServer.slaves:  
  11.         if slave.replstate == REDIS_REPL_WAIT_BGSAVE_START:  
  12.             continue  
  13.         slave.updateNotify(cmd, argc, argv)  

由于在发送完RDB文件之后,master会不定时的给slave发送“变更”命令,可能过1s,也可能过1小时,所以为了防止slave无意义等待(譬如master已经挂掉的情况),master需要定时发送“保活”命令PING,以此告诉slave:我还活着,不要中断与我的连接 

现在我们就看下,当master接受到slave发送的sync同步命令后究竟发生了哪些事: 


上图看似分支复杂,但我们抓住以下几点即可: 

1.保存RDB文件是在一个子进程中进行的; 
2.如果master已经在保存RDB文件,但是没有客户端正在等待这次BGSAVE,新添加的slave需要等到下次BGSAVE,而不能直接使用这次生成的RDB文件(原因图中已经说明) 
3.master会定期检查RDB文件是否保存完毕(时间事件serverCron); 

接下来我们看下,master是如何给每一个slave发送RDB文件的: 

 

好了,至此我们已经分析完在主从复制过程中,master和slave两边分别是怎么一个处理流程;最后,我绘制了一个图,综述了主从复制这一过程(我们可以边看图,边回忆其中的具体细节): 



PS:在主从复制过程中,任何一步发生错误,都会导致整个过程重头开始,所以若RDB文件很大又或是此时正处在业务高峰期,对系统性能将会有非常大的影响! 

总结: 
1. 了解主从复制master和slave的概念; 
2. 了解主从复制执行过程,特别是其中关键的几步; 
3. 了解目前主从复制过程中尚存的不足之处; 



oyhk 学习笔记

网站的访问量慢慢上来了。为了网站的性能方面,开始用了redis做缓存策略。刚开始的时候,redis是一个单点,当一台机器岩机的时候,redis的服务完全停止,这时就会影响其他服务的正常运行。费话不多说了,下面利用redis sentinel做一个主从切换的集群管理。做这个集群管理的时候,查过很多资料才完全了解,他是怎么做的。

java 客户端请看:

http://blog.mkfree.com/posts/52b146e6479e5a64742fddd0

参考资料:http://redis.io/topics/sentinel 我也是看这篇文章。

环境配置:

由于我这次配置没有太多的机器,我用了vagrant 去开了多台虚拟机。然后搭好了环境。

redis的安装请参考:redis 简单官方脚本安装方法(linux)

集群配置最少需要三台机器,那么我就三台虚拟机,三台虚拟机分别安装同样的redis的环境

ip分别:

  • 192.168.9.17  (redis sentinel 集群监控)
  • 192.168.9.18  (redis 主)
  • 192.168.9.19  (redis 从)

redis配置:

主的redis配置文件,使用默认的配置文件就可以了,如果你需要设计其他参数

从的redis配置文件,添加

#从的redis配置文件,需要添加
vim /etc/redis/6379.conf
slaveof 192.168.9.18 6379

启动主从redis

#启动主redis192.168.9.18
/etc/init.d/redis_6379.conf start
#启动从redis192.168.9.19
/etc/init.d/redis_6379.conf start

查看主redis信息

#查看主redis的信息
redis-cli -h 192.168.9.18 info Replication

# Replication
role:master #代表192.168.9.18:6379 这台redis是主
connected_slaves:1
slave0:192.168.9.18,6379,online

查看从redis信息

#查看主redis的信息
redis-cli -h 192.168.9.19 info Replication

# Replication
role:slave #代表192.168.9.18:6379 这台redis是主
master_host:192.168.9.18
master_port:6379
master_link_status:up
master_last_io_seconds_ago:4
master_sync_in_progress:0
slave_priority:100
slave_read_only:1
connected_slaves:0

配置redis sentinel集群监控服务

1.添加一份redis sentinel 配置文件

vim /etc/redis/sentinel.conf

##redis-0
##sentinel实例之间的通讯端口
port 26379
#master1
sentinel monitor master1 192.168.9.18 6379 1
sentinel down-after-milliseconds master1 5000
sentinel failover-timeout master1 900000
sentinel can-failover master1 yes
sentinel parallel-syncs master1 2

#master2  可以添加多组主从的redis监听
...
..
..
2.有配置文件了,那么启动redis sentinel做redis集群监听
redis-sentinel sentinel.conf --sentinel

好了,所有环境都搭好了。下面开始正式的演示

1.正常演示。

  • 主的redis启动
  • 把从的redis启动
  • 把redis sentinel 集群监听启动

观察redis sentinel 日志信息

这里很清楚地看到,从的redis加入了集群

[4925] 15 Oct 03:42:21.889 * +slave slave 192.168.9.19:6379 192.168.9.19 6379 @ master1 192.168.9.18 6379

执行以下命令,查看redis主从信息

[root@localhost vagrant]# redis-cli -h 192.168.9.17 -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
master0:name=master1,status=ok,address=192.168.9.18:6379,slaves=1,sentinels=1

那么表示一切都正常了。你的redis sentinel集群已经配置成功!



2.故障演示


2.1当主的redis 服务器岩机了,会发生什么情况呢?

执行以下命令使用主的redis服务停止

redis-cli -h 192.168.9.18 -p 6379 shutdown #表示把192.168.9.18这台redis 关闭
关闭后,我们再查看redis sentinel 的日志情况


这张图片很清晰地反应到,redis sentinel 监控到主的redis服务停止,然后自动把从的redis切换到主。

再执行以下命令,查看redis主从信息

[root@localhost vagrant]# redis-cli -h 192.168.33.111 -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
master0:name=master1,status=ok,address=192.168.9.19:6379,slaves=1,sentinels=1
把从已经升为主了。那么自动切换就已经成功了!


2.2 当我们已经发现,一台redis发生故障了,可能会收到一些故障信息,那么再把服务已关闭的redis恢复服务状态,会发生怎么样的情况呢?

redis sentinel 集群服务,会把上次主redis重新加入服务中,但是他再以不是主的redis了,变成从的reids。

哈.....完成了。。。下篇会写关于,客户端调用主从集群自动切换使用例子。我会以java为使用客户端.

本文转载自:http://blog.csdn.net/pi9nc/article/details/17735653

共有 人打赏支持
明舞
粉丝 227
博文 424
码字总数 516555
作品 0
程序员
redis 主从配置

redis主从复制过程: 当配置好slave后,slave与master建立连接,然后发送sync命令。无论是第一次连接还是重新连接,master都会启动一个后台进程,将 数据库快照保存到文件中,同时master主进...

lyg945
2016/11/20
5.3K
20
Linux运维-搭建高可用Redis缓存

前言 是一个高性能的数据库,现时越来越多企业与应用使用作为缓存服务器。楼主是一枚后端程序员,也算是半个运维工程师了。在服务器上搭建,怎么可以不会呢?下面楼主就带着大家从0开始,依次...

liangzzz
2017/12/07
0
0
keepalived+redis 高可用redis主从解决方案

keepalived+redis 高可用redis主从解决方案 目前,Redis还没有一个类似于MySQL Proxy或Oracle RAC的官方HA方案。 #Redis 2.8版开始正式提供名为Sentinel的主从切换方案(后面附上,未测试) 因...

xiaoxiongmao8
2017/02/09
0
0
redis的哨兵(sentinel)配置和python程序应用示例

一、Sentinel概述: 当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一个独立运行的进程,...

青苗飞扬
2017/10/19
0
0
基于Sentinel的Redis高可用方案

数据存储我们在应用设计过程中非常重要的一部分,无论是关系型数据库,还是Redis、MongoDB等非关系型数据库,都有很多的高可用方案,还有一些针对不同业务设计的中间件,使其性能更有特色,更...

tianya1993
2017/08/13
0
0
Redis 主从配置心得及其高可用方案

原文出处:lyg945 redis主从复制过程: 当配置好slave后,slave与master建立连接,然后发送sync命令。无论是第一次连接还是重新连接,master都会启动一个后台进程,将 数据库快照保存到文件中...

lyg945
2016/11/21
0
0
Redis Sentinel机制与用法(一)

Sentinel spring 集群配置: 见下方留言代码。 概述 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的...

洋哥6
2015/10/06
14.4K
5
Redis服务端优化实践:配置优化、主从切换、持久化

作者介绍 Redis是部门业务重要的核心业务组件,被广泛应用在行情系统、推送服务、数据中心、投顾、圈子、量化分析等平台。在使用Redis的过程中遇到了很多问题,涉及到开发者使用API时的一些注...

闫东旭
2017/11/16
0
0
基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案 http://www.tuicool.com/articles/naeEJbv 基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案 时间 2014-02-21 15:15:17 IT......

毛朱
2015/08/30
0
0
redis应用之使用sentinel实现主从复制高可用

一、redis的高可用管理工具sentinel介绍 sentinel是一个管理redis实例的工具,它可以实现对redis的监控、通知、自动故障转移。sentinel不断的检测redis实例是否可以正常工作,通过API向其他程...

xingliguang
2016/10/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CoreText进阶(七)-添加自定义View和对其

CoreText进阶(七)-添加自定义View和对其 其它文章: CoreText 入门(一)-文本绘制 CoreText入门(二)-绘制图片 CoreText进阶(三)-事件处理 CoreText进阶(四)-文字行数限制和显示更多...

aron1992
11分钟前
0
0
Python爬虫 爬取百合网的女人们和男人们

学Python也有段时间了,目前学到了Python的类。个人感觉Python的类不应称之为类,而应称之为数据类型,只是数据类型而已!只是数据类型而已!只是数据类型而已!重要的事情说三篇。 据书上说...

p柯西
22分钟前
0
0
在Java中,你真的会日期转换吗

1.什么是SimpleDateFormat 在java doc对SimpleDateFormat的解释如下: SimpleDateFormatis a concrete class for formatting and parsing dates in a locale-sensitive manner. It allows fo......

Java小铺
31分钟前
0
0
Linux系统梳理---系统搭建(二):tomcat的安装和使用

上一章讲到JDK的安装使用,这一章主要记录下服务器tomcat的安装以及部署一个项目. 1.下载tomcat,这里下载的是apache-tomcat-8.5.32.tar.gz 2.创建文件夹,便于管理,和JDK一样,在usr目录下创建t...

勤奋的蚂蚁
41分钟前
0
0
ES15-聚合

1.Terms Aggregation 分组聚合 2.Filter Aggregation 过滤聚合

贾峰uk
42分钟前
0
0
【2018.07.19学习笔记】【linux高级知识 20.27-20.30】

20.27 分发系统介绍 20.28 expect脚本远程登录 20.29 expect脚本远程执行命令 20.30 expect脚本传递参数

lgsxp
45分钟前
0
0
10.32/10.33 rsync通过服务同步~10.35 screen工具

通过服务的方式同步要编辑配置文件:[root@linux-xl ~]# vim /etc/rsyncd.confport=873log file=/var/log/rsync.logpid file=/var/run/rsyncd.pidaddress=192.168.43.21[tes...

洗香香
48分钟前
0
0
与女儿谈商业模式 (3):沃尔玛的成功模式

分类:与女儿谈商业模式 | 标签: 经济学 沃尔玛 陈志武 2007-05-10 09:09阅读(11279)评论(30) 与女儿谈商业模式 (3):沃尔玛的成功模式 陈志武 /文 沃尔玛(Wal-Mart)是另一个有意思的财...

祖冲之
55分钟前
0
0
网页加载速度优化方法总结

1、减少请求 最大的性能漏洞就是一个页面需要发起几十个网络请求来获取诸如样式表、脚本或者图片这样的资源,这个在相对低带宽和高延迟的移动设备连接上来说影响更严重。 2、整合资源 对开发...

Jack088
今天
0
0
dubbo学习

https://blog.csdn.net/houshaolin/article/details/76408399

喵五郎
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部