文档章节

MySQL进行Replace操作时造成数据丢失——那些坑你踩了吗?

o翡翠谷o
 o翡翠谷o
发布于 2017/08/17 17:25
字数 1672
阅读 811
收藏 26
点赞 0
评论 4

一、问题说明

公司开发人员在更新数据时使用了 replace into 语句,由于使用不当导致了数据的大量丢失,到底是如何导致的数据丢失?现分析如下。

二、问题分析

a. REPLACE 原理

REPLACE INTO 原理的官方解释为:

REPLACE works exactly like INSERT, except that if an old row in the table has the same value as a new row for a PRIMARY KEY or a UNIQUE index, the old row is deleted before the new row is inserted.

如果新插入行的主键或唯一键在表中已经存在,则会删除原有记录并插入新行;如果在表中不存在,则直接插入

地址:https://dev.mysql.com/doc/refman/5.6/en/replace.html

b. 问题现象

丢失数据的表结构如下:

CREATE TABLE `active_items` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `ad_id` char(32) NOT NULL DEFAULT '' COMMENT 'XXX',
  `ap_id` tinyint(4) NOT NULL DEFAULT '1' COMMENT 'XXX',
  `price` bigint(20) NOT NULL DEFAULT '0' COMMENT 'xxx',
  `rate` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `cc_price` bigint(20) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `sale_count` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `prom_count` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `c1` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `status` tinyint(4) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `order_num` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `score` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `audit_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `prom_modify_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `sales_modify_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `create_time` int(11) NOT NULL DEFAULT '0' COMMENT '创建时间',
  `modify_time` int(11) NOT NULL DEFAULT '0' COMMENT '最后修改时间',
  `score_modify_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `brand_id` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `freight_status` tinyint(1) NOT NULL DEFAULT '0' COMMENT 'XXX',
  `flag` tinyint(4) NOT NULL DEFAULT '0' COMMENT 'XXX',
  PRIMARY KEY (`id`),
  UNIQUE KEY `idx_ad_id` (`ad_id`) USING BTREE,
  ...
) ENGINE=InnoDB AUTO_INCREMENT=2699 DEFAULT CHARSET=utf8 COMMENT='XXXXX'

执行的replace语句如下(多条):

REPLACE INTO active_items(ad_id,score) VALUES('XXXXXXX', 1800);

通过查询binlog找到执行记录,部分如下:

### UPDATE `items`.`active_items`
### WHERE
###   @1=21926 /* LONGINT meta=0 nullable=0 is_null=0 */
###   @2='XXXXXXX' /* STRING(96) meta=65120 nullable=0 is_null=0 */
###   @3=1 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @4=3900 /* LONGINT meta=0 nullable=0 is_null=0 */
###   @5=315 /* INT meta=0 nullable=0 is_null=0 */
###   @6=1228 /* LONGINT meta=0 nullable=0 is_null=0 */
###   @7=19 /* INT meta=0 nullable=0 is_null=0 */
###   @8=0 /* INT meta=0 nullable=0 is_null=0 */
###   @9=-6 (4294967290) /* INT meta=0 nullable=0 is_null=0 */
###   @10=0 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @11=0 /* INT meta=0 nullable=0 is_null=0 */
###   @12=8 /* INT meta=0 nullable=0 is_null=0 */
###   @13=1489997272 /* INT meta=0 nullable=0 is_null=0 */
###   @14=1495765800 /* INT meta=0 nullable=0 is_null=0 */
###   @15=1495728000 /* INT meta=0 nullable=0 is_null=0 */
###   @16=1489996426 /* INT meta=0 nullable=0 is_null=0 */
###   @17=1489997272 /* INT meta=0 nullable=0 is_null=0 */
###   @18=1495728725 /* INT meta=0 nullable=0 is_null=0 */
###   @19=0 /* INT meta=0 nullable=0 is_null=0 */
###   @20=1 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */
### SET
###   @1=35313 /* LONGINT meta=0 nullable=0 is_null=0 */
###   @2='XXXXXXX' /* STRING(96) meta=65120 nullable=0 is_null=0 */
###   @3=1 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @4=0 /* LONGINT meta=0 nullable=0 is_null=0 */
###   @5=0 /* INT meta=0 nullable=0 is_null=0 */
###   @6=0 /* LONGINT meta=0 nullable=0 is_null=0 */
###   @7=0 /* INT meta=0 nullable=0 is_null=0 */
###   @8=0 /* INT meta=0 nullable=0 is_null=0 */
###   @9=0 /* INT meta=0 nullable=0 is_null=0 */
###   @10=0 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @11=0 /* INT meta=0 nullable=0 is_null=0 */
###   @12=3150 /* INT meta=0 nullable=0 is_null=0 */
###   @13=0 /* INT meta=0 nullable=0 is_null=0 */
###   @14=0 /* INT meta=0 nullable=0 is_null=0 */
###   @15=0 /* INT meta=0 nullable=0 is_null=0 */
###   @16=0 /* INT meta=0 nullable=0 is_null=0 */
###   @17=0 /* INT meta=0 nullable=0 is_null=0 */
###   @18=0 /* INT meta=0 nullable=0 is_null=0 */
###   @19=0 /* INT meta=0 nullable=0 is_null=0 */
###   @20=0 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */
  • 操作的ad_id已经存在,因此先删除后插入,可以看到除了指定的 ad_id,score,其他字段都变为默认值,导致原有数据丢失(虽然在日志中转为了update)

c. 对比测试

接下来我进行了如下测试:

测试对比

  • 左侧使用 REPLACE 语句,右侧使用 DELETE + INSERT 语句,最后结果完全相同
  • 原主键id为1的行被删除,新插入行主键id更新为4,没有指定内容的字段c则插入了默认值
  • 使用 REPLACE 更新了一行数据,MySQL提示受影响行数为2行
  • 综上所述,说明确实是删除一行,插入一行

三、数据恢复

数据丢失或数据错误后,可以有如下几种方式恢复:

  1. 业务方自己写脚本恢复
  2. 通过MySQL的binlog查出误操作sql,生成反向sql进行数据恢复(适合sql数据量较小的情况)
  3. 通过历史备份文件+增量binlog将数据状态恢复到误操作的前一刻

四、问题扩展

通过上述分析可以发现,REPLACE 会删除旧行并插入新行,但是binlog中是以update形式记录,这样就带来另一个问题:

从库自增长值小于主库

1. 测试

a. 主从一致:

主库:
mysql> show create table t\G
*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` int(11) DEFAULT '0',
  `b` int(11) DEFAULT '0',
  `c` int(11) DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `a` (`a`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

从库:
mysql> show create table t\G
*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` int(11) DEFAULT '0',
  `b` int(11) DEFAULT '0',
  `c` int(11) DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `a` (`a`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

b. 主库REPLACE:

主库:
mysql> replace into t (a,b)values(1,7);
Query OK, 2 rows affected (0.01 sec)

mysql> show create table t\G           
*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` int(11) DEFAULT '0',
  `b` int(11) DEFAULT '0',
  `c` int(11) DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `a` (`a`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

从库:
mysql> show create table t\G
*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` int(11) DEFAULT '0',
  `b` int(11) DEFAULT '0',
  `c` int(11) DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `a` (`a`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)
  • 注意此时主从两个表的AUTO_INCREMENT值已经不同了

c. 模拟从升主,在从库进行INSERT:

mysql> insert into t (a,b,c)values(4,4,4);
ERROR 1062 (23000): Duplicate entry '4' for key 'PRIMARY'
mysql> show create table t\G
*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` int(11) DEFAULT '0',
  `b` int(11) DEFAULT '0',
  `c` int(11) DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `a` (`a`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

mysql> insert into t (a,b,c)values(4,4,4);
Query OK, 1 row affected (0.00 sec)
  • 从库插入时会报错,主键重复,报错后AUTO_INCREMENT会 +1,因此再次执行就可以成功插入

2. 结论

这个问题在平时不会有丝毫影响,但是:

如果主库平时大量使用 REPLACE 语句,造成从库 AUTO_INCREMENT 值落后主库太大,当主从发生切换后,再次插入数据时新的主库就会出现大量主键重复报错,导致数据无法插入。

3. 参考文章

http://www.cnblogs.com/monian/archive/2014/10/09/4013784.html

© 著作权归作者所有

共有 人打赏支持
o翡翠谷o
粉丝 15
博文 7
码字总数 9513
作品 0
海淀
数据库管理员
加载中

评论(4)

o翡翠谷o
o翡翠谷o

引用来自“EndLess暴疯”的评论

Replace这个词 迷惑性太大 ,10使用9个中标:stuck_out_tongue_closed_eyes:

引用来自“o翡翠谷o”的评论

哈哈哈:satisfied:

引用来自“落舞者”的评论

:sunglasses:猜猜我是谁
神笔马良:relieved:
落舞者
落舞者

引用来自“EndLess暴疯”的评论

Replace这个词 迷惑性太大 ,10使用9个中标:stuck_out_tongue_closed_eyes:

引用来自“o翡翠谷o”的评论

哈哈哈:satisfied:
:sunglasses:猜猜我是谁
o翡翠谷o
o翡翠谷o

引用来自“EndLess暴疯”的评论

Replace这个词 迷惑性太大 ,10使用9个中标:stuck_out_tongue_closed_eyes:
哈哈哈:satisfied:
EndLess暴疯
EndLess暴疯
Replace这个词 迷惑性太大 ,10使用9个中标:stuck_out_tongue_closed_eyes:
ELK之ES2.4.1双实例平滑升级调优至5.2.1踩坑并supervisor管理记

ES老集群用的2.4.1版本,跑的比较好就一直没动,最近看资料ES5.X已经稳定,并且性能有较大提升,心里就发痒了,但由于业务要保持高可用的属性,就得想一个平滑升级的方案,最后想到了多实例过...

愚人乙
2017/02/27
0
0
“玄惭大师”谈双十一活动中云数据库保障经验

1、弹性扩容的两种方式 多数用户在双十一到来之前都会进行弹性扩容。常见的弹性扩容分为两类:本机升降级和跨机升降级。 本机升降级的话,比较简单。举个栗子,一个 6G/6C 的 RDS 数据库想要...

linux小陶
2016/11/10
3
0
开源数据库该怎么玩?

9月13日,北京,巨杉数据库主办的“极客Cool” 沙龙第一期圆满结束。沙龙上,开源数据库的三个重要代表SequoiaDB巨杉数据库CTO王涛(NoSQL),阿里云RDS for PostgreSQL/PPAS 专家 萧少聪(P...

巨杉软件
2015/09/14
2.2K
1
关于开发node.js个人网站,你需要的知识都在这里了

前言 nodejs.jpg 从2016年5月份开始,接触Node.js到现在已经有一年半的时间了。从最初的懵懵懂懂,到一篇一篇地啃大部头、看教程,再到自己开始写笔记、写教程,以及上手做了一些小功能,最终...

Mike的读书季
2017/12/01
0
0
唠唠 RDS 那些事 —— RDS on Windows Server 2016 第二篇

上一篇中唠叨了一下什么是 RDS 服务。于是,有人问我现在还有人在用 RDS 吗?我反问为什么没人用呢?对方答曰踩坑的飘过。其实,我是觉得,任何技术在运用到实际项目的时候,都会遇到数不尽的...

loveunicom
2017/10/27
0
0
最近移动前端项目中遇到的两个坑

尽管要多加避免,但还别说,坑还真得常踩常有,不要以为手机端都是 Webkit 的天下就简单,不用处理浏览器之间的兼容问题,——其实不一致性的问题还是挺大的。 两个坑都是涉及 iframe 的——...

sp42
2016/01/08
0
0
欢迎进入阿钟的博客导航——快速查找所有博客

世上最遥远的距离,是我在if里你在else里,似乎一直相伴又永远分离;世界上最痴心的等待,是我当case你是switch,或许永远都选不上自己;世界上最真情的相依,是你在try我在catch。无论你发神...

a_zhon
2016/08/25
0
0
Mysql数据库主从心得整理

管理mysql主从有2年多了,管理过200多组mysql主从,几乎涉及到各个版本的主从,本博文属于总结性的,有一部分是摘自网络,大部分是根据自己管理的心得和经验所写,整理了一下,分享给各位同行...

1362802538
2016/12/02
301
0
Mysql数据库主从心得整理(转)

管理mysql主从有2年多了,管理过200多组mysql主从,几乎涉及到各个版本的主从,本博文属于总结性的,有一部分是摘自网络,大部分是根据自己管理的心得和经验所写,整理了一下,分享给各位同行...

张锦飞
06/07
0
0
MySQL "replace into" 的坑 自增id,备机会有问题,这个问题在mysql5.7.17上是不会出现

MySQL "replace into" 的坑 自增id,备机会有问题,这个问题在mysql5.7.17上是不会出现 以下是网上资料, 来源于:http://www.cnblogs.com/monian/archive/2014/10/09/4013784.html MySQL "re...

corasql
2017/04/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

电脑炸了,浪费我好几天时间,还是简要记下来吧

我的小本本一直在兢兢业业的干活,然而前几天说炸就炸了...... 爆炸现场: 软件: windows10 pro + EIS11+ 360卫士 BIOS:N1DET98W 2.24 硬件: Xeon E3 1505-V5 nv-M3000M thinkpadP70:20E...

Oh_really
2分钟前
0
0
Git之branch和checkout

1.branch是查看、创建、删除分支 #>git branch --helpNAME git-branch - List, create, or delete branchesSYNOPSIS git branch [--color[=<when>] | --no-color] [......

汉斯-冯-拉特
4分钟前
0
0
Mybatis拦截器之数据权限过滤与分页集成

需求场景 最近项目有个数据权限的业务需求,要求大致为每个单位只能查看本级单位及下属单位的数据,例如:一个集团军下属十二个旅,那么军级用户可以看到所有数据,而每个旅则只能看到本旅部...

佛系程序猿灬
13分钟前
3
0
Vue作为MVVM框架,M、V、VM分别代表什么?

<script src="vue.js"></script><div id="demo"> {{message}} <input v-model="message"></div><script> var vm = new Vue({ el: '#demo', data: { mes......

JamesView
16分钟前
0
0
SpringCloud 微服务 (十六) 服务追踪 Zipkin

问题 在服务中,有一个接口,该A接口中又调用了其他服务的B、C、D接口,出现一个请求耗时大的问题,这时候并不知道该B、C、D接口中哪个接口造成的耗时量,然后比如确定C服务接口出现的耗时量大,但...

___大侠
58分钟前
0
0
Java面试基础篇——第八篇:抽象类与接口的区别

1.抽象类 抽象类:如果一个类中包含有抽象方法,或这个类使用abstract关键字修饰,则称这个类是抽象类。 抽象方法是什么呢?抽象方法就是指用abstract关键字修饰的方法。 需要注意的是:抽象...

developlee的潇洒人生
今天
2
0
jsoup 相关资料

1.jsoup 2.Jsoup概述 3.jsoup入门 4.jsoup Java HTML Parser 1.11.3 API

IT追寻者
今天
0
0
JPA @MappedSuperclass 注解说明

基于代码复用和模型分离的思想,在项目开发中使用JPA的@MappedSuperclass注解将实体类的多个属性分别封装到不同的非实体类中。 1.@MappedSuperclass注解只能标准在类上:@Target({java.lang....

海博1600
今天
0
0
【一】Scala Configuration 相关API

Play使用了 Typesafe config library,但是也提供了一个有着更多Scala高级特性的的 Configuration 封装。不熟悉Typesafe配置的开发者可以移步 configuration文件的语法和特性文档。 读取配置...

Landas
今天
3
0
使用cookie技术 记住账号

1. 效果 2. 实现过程 2.1 前端 将用户的选中传递给后台 这个参数的获取是 参考:https://my.oschina.net/springMVCAndspring/blog/1860498 // var rememberLogin = $("#rememberLoginId").i...

Lucky_Me
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部