文档章节

MySQL主从同步错误情况下的全量备份恢复

go2school
 go2school
发布于 2016/07/15 15:19
字数 1054
阅读 41
收藏 3
点赞 0
评论 0

一个Web系统有一主两从的小型MySQL集群,通过Amoeba调度。近日发现主从之间的同步发生异常,从库无法更新数据。试了多种方法无法恢复后,决定重新建立从库数据。方法如下。

假设主库为server1,两个从库为server2和server3

主库server1的IP地址是192.168.0.2

从库server2的IP地址是192.168.0.3

从库server3的IP地址是192.168.0.4

一、停止Amoeba的主从调度,将所有数据库读写导向主库server1

进入Amoeba的conf目录,打开dbServers.xml文件

<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

		<!-- 
			Each dbServer needs to be configured into a Pool,
			If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
			 add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
			 such as 'multiPool' dbServer   
		-->
		
	<dbServer name="abstractServer" abstractive="true">
		<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
			<property name="connectionManager">${defaultManager}</property>
			<property name="sendBufferSize">640</property>
			<property name="receiveBufferSize">1280</property>
				
			<!-- mysql port -->
			<property name="port">3306</property>
			
			<!-- mysql schema -->
			<property name="schema">appdb</property>
			
			<!-- mysql user -->
			<property name="user">amoeba</property>
			
			<property name="password">moocsakai</property>
		</factoryConfig>

		<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
			<property name="maxActive">1200</property>
			<property name="maxIdle">500</property>
			<property name="minIdle">100</property>
			<property name="minEvictableIdleTimeMillis">600000</property>
			<property name="timeBetweenEvictionRunsMillis">600000</property>
			<property name="testOnBorrow">true</property>
			<property name="testOnReturn">true</property>
			<property name="testWhileIdle">true</property>
		</poolConfig>
	</dbServer>

	<dbServer name="server1"  parent="abstractServer">
		<factoryConfig>
			<!-- mysql ip -->
			<property name="ipAddress">192.168.0.2</property>
		</factoryConfig>
	</dbServer>
	
	<dbServer name="server2"  parent="abstractServer">
		<factoryConfig>
			<!-- mysql ip -->
			<property name="ipAddress">192.168.0.3</property>
		</factoryConfig>
	</dbServer>
			 
	<dbServer name="server3"  parent="abstractServer">
		<factoryConfig>
			<property name="ipAddress">192.168.0.4</property>
		</factoryConfig>
	</dbServer>
	
	<dbServer name="multiPool" virtual="true">
		<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
			<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
			<property name="loadbalance">1</property>
			
			<!-- Separated by commas,such as: server1,server2,server1 -->
			<property name="poolNames">server2,server3</property>
		</poolConfig>
	</dbServer>
		
</amoeba:dbServers>

定位到XML文件内容<dbServer name="multiPool" virtual="true">位置,将其中的server2,server3改为server1,server2后,保存xml文件,再进入Amoeba的bin目录使用如下命令重启amoeba

./shutdown
./launcher

经过这一步骤后,Amoeba将所有的读写请求定向到server1,server2和server3被旁路开了。

二、备份主库server1

进入server1,使用如下命令备份主库的日志到目录/mooc/databackup

innobackupex --user=root --password=abc /mooc/databackup/ -socket=/tmp/mysql.sock

备份成功后,会在目录/mooc/databackup下生成新的目录2016-07-15_12-29-39,其中包含了数据库中所有数据操作日志文件

三、全量恢复从库server2和server3。以server2为例,server3方法相同

1、拷贝主库的备份日志文件到从库某目录下,假设/moocmysql

scp -r /mooc/databackup/2016-07-15_12-29-39 root@server2:/moocmysql

2、登录到从库server2机器,将日志文件在从库恢复

innobackupex  --defaults-file=/etc/my.cnf  --apply-log /moocmysql/2016-07-15_12-29-39

3、停止从库服务器,并删除其中所有数据,假设server2的数据保存在/moocmysql/data目录下

service mysqld stop
rm -rf /moocmysql/data/*

4、全量恢复从库的数据到/moocmysql/data/

innobackupex --defaults-file=/etc/my.cnf --copy-back /mooc/databackup/2016-07-15_12-29-39

5、设置数据访问权限

chown -R mysql:mysql /moocmysql/data

6、启动mysql

service mysqld start

7、找到本次全量更新的新的同步点

cat /moocmysql/data/xtrabackup_binlog_pos_innodb

返回两个信息

master-bin.000297    248684412

8、进入mysql的控制台,设置新的同步点为这两个信息

停止slave

stop slave;

改变同步参数

change master to master_host='10.128.18.162',master_user='mooc2',master_password='moocsakai',master_log_file='master-bin.000297',master_log_pos=248684412;

启动slave

start slave

查看主从设置状态

show slave status\G;

看到信息Slave_IO_Running: Yes和Slave_SQL_Running: Yes就表示设置成功了。

四、恢复Amoeba的主从调度,修改dbServer.xml,定位到XML文件内容<dbServer name="multiPool" virtual="true">位置,将其中的server1,server1改回server2,server3后,保存xml文件,再进入Amoeba的bin目录使用如下命令重启amoeba

./shutdown
./launcher

至此,操作应该完成。

 

注意可能发生的错误

如果启动mysql从库时报错pid不存在,则应做如下查看:

1、查看通过scp命令拷贝数据的时候,是否所有日志文件都全部拷贝完成,可以通过比较文件个数和目录大小查看。

2、查看是否修改了数据的访问权限

© 著作权归作者所有

共有 人打赏支持
go2school
粉丝 10
博文 33
码字总数 14674
作品 0
技术主管
MySQL 数据备份与同步

前段时间使用MySQL作为数据存储做了一个小项目。项目上线运行了几十天之后,数据已经越来越多,达到了100多M。用mysqldump每天备份全量数据然后传输到另外一台机器上这种方式进行数据备份,久...

costaxu ⋅ 2012/10/13 ⋅ 0

2017 11-10 Mysql应用2

一.mysql的日志应用 (1)查询日志:general_log 记录查询语句,日志存储位置: 文件:file 表:table (mysql.generallog) generallog={ON|OFF} generallogfile=HOSTNAME.log log_output={FILE...

楠人帮 ⋅ 2017/11/12 ⋅ 0

为MySQL选择合适的备份方式

数据库的备份是极其重要的事情。如果没有备份,遇到下列情况就会抓狂: UPDATE or DELETE whitout where… table was DROPPed accidentally… INNODB was corrupt… entire datacenter lose...

markYun ⋅ 2013/08/08 ⋅ 0

MySQL主从复制-xtrabackup的使用与延时复制

xtrabackup是percona公司针对MySQL开发的一款开源的物理备份工具,直接拷贝物理文件,速度快,效率高,支持不锁表备份,支持全量、增量(基于LSN序号)、压缩及流备份等等,那今天要做的是,用...

segastar660 ⋅ 2017/05/20 ⋅ 0

mysql 主备XtraBackup恢复

> MySQL主从同步原理MySQL主从同步是在MySQL主从复制(Master-Slave Replication)基础上实现的,通过设置在Master MySQL上的binlog(使其处于打开状态),Slave MySQL上通过一个I/O线程从Maste...

我不是瘦子 ⋅ 01/02 ⋅ 0

生产环境主从数据同步不了?

生产环境主从数据同步不了? 经历过程: 一般我们常常在做主从复制的时候,可能是很少遇到到错误,那都是因为,你做主从基本用的是,本地虚拟机做,或者一些测试环境做。但是当我们把主从复制...

技术小疯子 ⋅ 01/26 ⋅ 0

MongoDB远程主从部署下的全量数据同步及故障恢复策略

MongoDB远程环境下的主从部署由于网络条件限制,在进行大量数据的全量同步时其自身的同步机制往往很难满足需求,并经常会导致主从关系的破裂。基于以上原因,下面推荐两种全量数据同步及故障...

zmf ⋅ 2015/06/18 ⋅ 0

MySQL基础【MySQL运维实践】

5.1-MySQL日志系统 什么是日志 日志(log)是一种顺序记录事件流水的文件 记录计算机程序运行过程中发生了什么 多种多样的用途 帮助分析程序问题 分析服务请求的特征、流量等 判断工作是否成功...

yanfeilai528 ⋅ 04/14 ⋅ 0

mysql主从状态异常解决办法

今天发现新插入的一条数据,读取的时候无此数据,因为我这里做了读写分离,所以怀疑是从库的问题。 不知什么原因导致Mysql的主从数据库没有同步。 先上Master库: mysql>show processlist; ...

蜗牛的嘲讽 ⋅ 2016/12/22 ⋅ 0

Mysql主从不同步问题处理案例

在使用Mysql的主从复制架构中,有两个比较头疼的问题: 1、主从数据不同步后如何处理 2、主从同步延迟问题如何解决 本文将根据实际案例来分析下问题1,至于问题2多数文档介绍的办法是启用多线...

ylw6006 ⋅ 2016/06/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

解决CentOS6、7,/etc/sysconfig/下没有iptables的问题

一、Centos 6版本解决办法: 1.任意运行一条iptables防火墙规则配置命令: iptables -P OUTPUT ACCEPT 2.对iptables服务进行保存: service iptables save 3.重启iptables服务: service ...

寰宇01 ⋅ 13分钟前 ⋅ 2

数据库备份和恢复

备份:mysqldump -u root -p 数据库>磁盘路径 恢复:mysql -u root -p 数据库<sql脚本的磁盘路径

anlve ⋅ 58分钟前 ⋅ 0

发生了什么?Linus 又发怒了?

在一个 Linux 内核 4.18-rc1 的 Pull Request 中,开发者 Andy Shevchenko 表示其在对设备属性框架进行更新时,移除了 union 别名,这引发了 Linus 的暴怒。 这一次 Linus Torvalds 发怒的原...

问题终结者 ⋅ 今天 ⋅ 0

在树莓派上搭建一个maven仓库

在树莓派上搭建一个maven仓库 20180618 lambo init 项目说明 家里有台树莓派性能太慢。想搭建一个maven私服, 使用nexus或者 jfrog-artifactory 运行的够呛。怎么办呢,手写一个吧.所在这个...

林小宝 ⋅ 今天 ⋅ 0

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 今天 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 今天 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 今天 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部