文档章节

mysqldump备份大数据出错

hosser
 hosser
发布于 2015/04/27 23:15
字数 726
阅读 935
收藏 12
点赞 0
评论 0

mysqldump备份大数据出错技术

maybe yes 发表于2015-01-26 22:58

原文链接 : http://blog.lmlphp.com/archives/72  来自 : LMLPHP后院

网 站的数据会定期备份,现在数据大了,mysqldump 方法估计是不行了,并且失败了以后并不能接着上次的位置开始备份。报错内容:mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `table name` at row: 23699。

Lost connection to MySQL server,在使用 mysqldump 的时候(尤其是向 NFS 上备份的时候),很多人都被“mysqldump:Got error:2013: Lost connection to MySQL server during query when dumping table”的问题困扰,在Manual中对这个问题有一些简单的说明。
在向NFS上备份的时候,数据的流向是这样的:MySQL Server 端从数据文件中检索出数据,然后分批将数据返回给mysqldump 客户端,然后 mysqldump 将数据写入到NFS上。一般地,向 NFS 上写入数据的速度较之Server端检索发送数据的速度要慢得多,这就会导致 mysqldump 无法及时的接受 Server 端发送过来的数据,Server 端的数据就会积压在内存中等待发送,这个等待不是无限期的,当 Server 的等待时间超过 net_write_timeout(默认是60秒)时它就失去了耐心,mysqldump 的连接会被断开,同时抛出错误 Got error: 2013: Lost connection。
增加 net_write_timeout 可以解决上述的问题的。在实践中发现,在增大 net_write_timeout 后,Server 端会消耗更多的内存,有时甚至会导致 swap 的使用(并不确定是不是修改 net_write_timeout 所至)。建议在mysqldump 之前修改 net_write_timeout 为一个较大的值(如1800),在 mysqldump 结束后,在将这个值修改到默认的60。
Lost connection to MySQL server during query 错误
造成这样的错误原因很多
个人经验认为先试一试这两个参数,大部分都是这个原因引起的:
bind-address = 127.0.0.1
skip-name-resolve
这两个参数任意一个就行。
也就是说遇到2006,2013错误就重新连接一下MySQL。
MySQL层面,需要配置一些参数 my.cnf
wait_timeout = x 超时时间
max_allowed_packet = y 最大允许数据量
一般出现这种情况不是所有例句而是单个表,请你先修复表一般都能解决这类问题
备份不要在数据库压力较大的时候进行,每天凌晨备份是比较合适的
如果是事务型引擎(InnoDB),建议使用 --single-transaction 参数,这样可以让锁表时间变得很短。

上 面是做法估计是行不通了,网站在虚拟主机上,修改 MySQL 配置是不太可能的。MySQL 官网也有类似的报告 http://bugs.mysql.com/bug.php?id=47702 。暂时只能使用 --ignore-table=<database>.<table> 选项忽略比较大的表暂时不备份吧。

阅(69)评(0)查看评论


本文转载自:http://blog.lmlphp.com/archives/72

共有 人打赏支持
hosser
粉丝 194
博文 77
码字总数 4614
作品 3
徐汇
MYSQL5.6 mysqldump备份与恢复

MYSQL5.6学习——mysqldump备份与恢复 MYSQL备份 冷备份:停止服务进行备份,即停止数据库的写入 热备份:不停止服务进行备份(在线) l mysql的MyIsam引擎只支持冷备份,InnoDB支持热备份,...

xiaocao13140 ⋅ 05/29 ⋅ 0

linux上mysql库的迁移

两种办法 第一种: 首先将/var/lib/mysql这个目录备份起来, 在恢复的时候直接将mysql目录下的数据库拷贝到另外一个系统的数据库中即可,另外还需拷贝/mysql/下的ibdata1这个文件到另外一个系...

zmf ⋅ 2014/10/23 ⋅ 0

使用mysql恢复数据时视图变成表

问题是这样的,使用mysqldump备份线上数据库之后,然后通过mysql 命令行恢复到线下数据库,发现视图都成了表。 为什么会这样呢?这就得聊聊mysql备份恢复的机制了 其实查看mysqldump备份产生...

feng110498 ⋅ 01/10 ⋅ 0

十三、MySQL数据备份与恢复

13.1、数据备份 数据备份:目的用于恢复;必须对备份数据做恢复测试。 备份类型: 物理备份和逻辑备份: 完全备份、增量备份和差异备份; 备份策略:选择备份方式;选择备份时间;考虑到恢复...

运维菜鸟丶 ⋅ 2017/08/11 ⋅ 0

数据库的备份与恢复 mysqldump+binlog方式

实验说明: (1)mysqldump:逻辑备份工具,适用于所有存储引擎,可用于温备,能实现完全备份,部分备份;对InnoDB存储引擎支持热备; binlog:二进制日志 二进制日志也叫作变更日志,主要用...

hawapple ⋅ 2017/11/16 ⋅ 0

Mysql数据备份以及异地存储

脚本如下: #========================================================== #!/bin/bash current_date=`date +%Y-%m-%d:%H:%M:%S` /usr/local/mysql/bin/mysqldump -prootpass dbname1 > ./D......

腿毛的忧伤 ⋅ 2017/09/06 ⋅ 0

让linux每天定时备份MySQL数据库并删除五天前的备份文件

MYSQL定期备份是一项重要的工作,但人工操作太繁琐,也难避免有所疏漏,使用下面的方法即可让系统定期备份数据。利用系统crontab来定时执行备份文件,按日期对备份结果进行保存,达到备份的目...

hengfeng_su ⋅ 2013/12/21 ⋅ 3

MySQL数据备份和恢复的方法大全

拷贝数据库文件备份: 由于MySQL的数据库和表是直接通过目录和表文件实现的,因此直接复制文件来备份数据库数据,对MySQL来说特别方便。而且自MySQL 3.23起MyISAM表成为缺省的表的类型,这种...

于涛ns_天使 ⋅ 2013/02/06 ⋅ 0

mysqldump备份与恢复 之 黑锅侠

公司这几天数据库有数据丢失,所以找到运维部门要恢复数据库,但是我们的工程师,在执行完恢复命令后,提示语法错误,并没有恢复数据库,坑爹啊~~~ 具体原因:由于备份时语法错误 或 指定的目...

邱月涛 ⋅ 2017/05/01 ⋅ 0

MySQL 备份和恢复机制

一、 备份恢复策略 进行备份或恢复操作时需要考虑一些因素: 确定要备份的表的存储引擎是事务型还是非事务型,两种不同的存储引擎备份方式在处理数据一致性方面是不太一样的。 确定使用全备份...

waterandair ⋅ 2017/11/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Jenkins实践3 之脚本

#!/bin/sh# export PROJ_PATH=项目路径# export TOMCAT_PATH=tomcat路径killTomcat(){pid=`ps -ef | grep tomcat | grep java|awk '{print $2}'`echo "tom...

晨猫 ⋅ 今天 ⋅ 0

Spring Bean的生命周期

前言 Spring Bean 的生命周期在整个 Spring 中占有很重要的位置,掌握这些可以加深对 Spring 的理解。 首先看下生命周期图: 再谈生命周期之前有一点需要先明确: Spring 只帮我们管理单例模...

素雷 ⋅ 今天 ⋅ 0

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 今天 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部