文档章节

解决Mysql读写分离数据延迟

STINGWOH
 STINGWOH
发布于 2017/07/27 11:55
字数 1046
阅读 5
收藏 0
点赞 0
评论 0

 

使用MySQL Proxy解决MySQL主从同步延迟

  • MySQL的主从同步机制非常方便的解决了高并发读的应用需求,给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的,而且由于服务器负载、网络拥堵等方面的原因,Master与Slave 之间的数据同步延迟是没有保证的。短在1秒内,长则几秒、几十秒甚至更长都有可能。 


由于数据延迟问题的存在,当应用程序在Master 上进行数据更新,然后又立刻需要从数据库中读取数据时,这时候如果应用程序从Slave上取数据(这也是当前Web开发的常规做法),就可能出现读取不到期望的数据,造成程序运行异常。 

解决这个问题有多种方式,比如最简单的在所有的insert和update之后,强制sleep几秒钟。这是非常粗鲁的方式,对于更新操作不是很高的中小型系统,此方式基本能解决问题。 

另外一种方式是应用程序把被更新的数据保存在本机的内存(或者集中式缓存)中,如果在写入数据完成后需要直接读取数据,则从本机内存中读取。这种方式的缺点是极大的增加了应用程序的复杂度,而且可靠性并不能完全得到保障。 

使用MySQL Proxy可以很方便的解决这个问题。MySQL Proxy是基于MySQL Client 和 MySQL Server之间的代理程序,能够完成对Client所发请求的监控、修改。从Client角度看,通过Proxy访问Server和直接访问Server没有任何区别。对于既有的程序而言,只要把直接被访问的Server的IP地址和端口号换成Proxy的IP地址和端口号就可以。 

MySQL Proxy的工作原理也较简单。在Proxy启动时可以指定Proxy所需要使用的lua脚本,在lua脚本中预先实现6个方法: 

    * connect_server()     // 接收到Client的连接请求时调用 
    * read_handshake()   // 
    * read_auth()               // 读取Client的认证信息时调用 
    * read_auth_result() // 读取认证结果时调用 
    * read_query()            // 读取Client的query请求时调用 
    * read_query_result()   //读取query结果时调用 

当 Proxy接收到Client请求时,在请求的不同的阶段会调用上面的不同方法。这样Proxy使用者就可以根据自己的业务需求,自由的实现这6个方法达到目的。 

通过在read_query()中加入代码,我们可以截取出当前的请求是insert、update还是select,然后把 insert和update请求发送到Master中,把select请求发送到Slave中,这样就解决了读写分离的问题。 

在解决了读写分离后,如何解决同步延迟呢? 

方法是在Master上增加一个自增表,这个表仅含有1个的字段。当Master接收到任何数据更新的请求时,均会触发这个触发器,该触发器更新自增表中的记录。如下图所示: 

mysql_proxy_write 

由于Count_table也参与Mysq的主从同步,因此在Master上作的 Update更新也会同步到Slave上。当Client通过Proxy进行数据读取时,Proxy可以先向Master和Slave的 Count_table表发送查询请求,当二者的数据相同时,Proxy可以认定 Master和Slave的数据状态是一致的,然后把select请求发送到Slave服务器上,否则就发送到Master上。如下图所示: 

mysql_proxy_read 

通过这种方式,就可以比较完美的结果MySQL的同步延迟不可控问题。之所以所“比较完美”,是因为这种方案double了查询请求,对Master和Slave构成了额外的压力。不过由于Proxy与物理的Mysql Server采用连接池的方式连接,因此额外的压力还是可以接受的

 

转:http://blog.csdn.net/allen_hdh/article/details/19854783

本文转载自:

共有 人打赏支持
STINGWOH
粉丝 2
博文 49
码字总数 11745
作品 0
苏州
MySQL 读写分离与负载均衡

MySQL 数据库的读写分离和负载均衡一般是通过第三方软件来实现的。 也可以通过mysql驱动程序来实现,如com.mysql.jdbc.ReplicationDriver。 详细文档参见:http://dev.mysql.com/doc/refman...

boonya
2016/05/31
217
0
Mysql读写分离方案-MySQL Proxy环境部署记录

Mysql的读写分离可以使用MySQL Proxy和Amoeba实现,其实也可以使用MySQL-MMM实现读写分离的自动切换。MySQL Proxy有一项强大功能是实现"读写分离",基本原理是让主数据库处理写方面事务,让从...

吞吞吐吐的
2017/08/31
0
0
查询增速200倍!看金融业数据库架构如何在蜕变中逆袭

作者介绍 姜伟锋,美利金融融资财务团队JAVA后端技术专家,曾从事于互联网金融P2P、第三方支付相关交易、支付、清结算、账务平台系统相关架构设计、研发工作,目前从事于财务项目相关的工作。...

姜伟锋
04/12
0
0
大家怎么解决mysql的主从同步延迟?

业务里面有这样一个场景,用户充值完毕,立即读取账户信息,因为做了主从读写分离,如果主从同步存在延迟,那么这次读取可能就不是最新的数据(来自略微延迟同步的从库),大家怎么解决的从m...

十七亮
2015/12/17
2.3K
11
目前有什么优秀的实现mysql读写分离的方案?

目前有什么优秀的实现mysql读写分离的方案来解决如下问题: 1.高可用且性能稳定可靠; 2.能够很好的解决脑裂问题; 3.能够解决主从数据库之间的数据同步时的延迟导致数据访问不一致的问题。 ...

mrZhan_223
2014/11/16
9.5K
20
配置Mysql-proxy,实现读写分离

环境描述: 操作系统:CentOS6.5 64 位 mysql主服务器 Master:172.25.17.19 mysql从服务器 Slave1:172.25.17.20 mysql从服务器 Slave2:172.25.17.21 调度服务器 MySQL-Proxy:172.25.17.7...

zzc052
06/29
0
0
mysql-proxy实现读写分离(比较详细)

其中Amoeba for MySQL也是实现读写分离 环境描述: 操作系统:CentOS6.5 32位 主服务器Master:192.168.179.146 从服务器Slave:192.168.179.147 调度服务器MySQL-Proxy:192.168.179.142 由于...

bengozhong
2016/10/11
75
0
十五周二次课、三次课(4月3日、4月4日)

十五周二次课、三次课(4月3日、4月4日) 不停库不锁表在线主从配置 http://blog.sina.com.cn/s/blog_6f2108260101kwxv.html mysql主从常见问题 1、从库的mysql命令行下执行:show slave st...

大道争锋
06/26
0
0
mysql高可用架构设计,处理高并发,大流量!

  主要介绍:复制功能介绍、mysql二进制日志、mysql复制拓扑、高可用框架、单点故障、读写分离和负载均衡介绍等   mysql复制功能介绍   mysql复制功能提供分担读负载   复制解决的问...

思梦教育
06/26
0
0
使用MySQL Proxy解决MySQL主从同步延迟

MySQL的主从同步机制非常方便的解决了高并发读的应用需求,给Web方 面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的,而...

晨曦之光
2012/03/09
216
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

expect(spawn) 自动化git提交和scp拷贝---centos(linux)

**在进行SCP文件拷贝中,往往需要进行用户密码的输入,即用户交互。若采用自动化脚本的方式进行,则可用以下方式: ** #!/usr/bin/expect #设置参数 set src [lindex $argv 0] set dest [lin...

helplove
10分钟前
1
0
用Build来构建对象的写法

如果一个类的属性过多,用构造器来构建对象很难写,因此我们时用Build方式来构建对象。写法大致如下。 import java.io.Serializable;import java.util.Date;public class Log impleme...

算法之名
12分钟前
11
0
利用 acme.sh 获取网站证书并配置https访问

acme.sh 实现了 acme 协议, 可以从 letsencrypt 生成免费的证书.(https://github.com/Neilpang/acme.sh/wiki/%E8%AF%B4%E6%98%8E) 主要步骤: 安装 acme.sh 生成证书 copy 证书到 nginx/ap...

haoyuehong
26分钟前
2
0
微擎框架内如何根据media_id获取到微信图片的路径

微擎的框架内,图片选择后,获取的是那个字符串是media_id,相当于你这张图片在微信的图片服务器里面的id 要求是:获取https://mmbiz.qpic.cn/mmbiz_jpg/…… 微信图片的路径 而微信并没有根据m...

老bia同学
29分钟前
2
0
Spring boot中日期的json格式化

Model 在model层中,类的日期属性上面添加如下注解: @JsonFormat(shape = JsonFormat.Shape.STRING, pattern = "yyyy-MM-dd hh:mm:ss") 参考 Jackson Date格式化教程...

亚林瓜子
31分钟前
2
0
Eclipse:Failed to load the JNI shared library

1.问题背景: 由于我之前使用jdk1.9学习,当使用Luke的时候发现jdk版本过高,需要向下配置jdk,就向朋友拷了一个安装包。重新配置路径后,便开始报错。 2.问题描述: Failed to load the JNI...

tinder_boy
34分钟前
1
0
少儿学习编程课程是否真的适合七八岁的低龄儿童[图]

少儿学习编程课程是否真的适合七八岁的低龄儿童[图]: 天下熙熙皆为利来,天下攘攘皆为利往。 这几年来,乐高教育机构在国内如同雨后春笋般出现,当然关闭/转手的也很多。从教师角度来看,部...

原创小博客
39分钟前
1
0
ES12-词项查询

1.词项查询介绍 全文查询将在执行之前分析查询字符串,但词项级别查询将按照存储在倒排索引中的词项进行精确操作。这些查询通常用于数字,日期和枚举等结构化数据,而不是全文本字段。 或者,...

贾峰uk
47分钟前
2
0
http状态码与ajax的状态值

ajax状态值 1.1 200 & OK:状态请求成功

litCabbage
50分钟前
2
0
iOS动画效果合集、飞吧企鹅游戏、换肤方案、画板、文字效果等源码

iOS精选源码 动画知识运用及常见动画效果收集 3D卡片拖拽卡片叠加卡片 iFIERO - FLYING PENGUIN 飞吧企鹅SpriteKit游戏(源码) Swift封装的空数据提醒界面EmptyView 沙盒文件浏览与分享调试控...

sunnyaigd
53分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部