文档章节

线上mysql数据库不停机的环境下,如何添加新的从机

五大三粗
 五大三粗
发布于 2015/04/20 17:17
字数 1593
阅读 24
收藏 0
点赞 0
评论 0

线上mysql数据库不停机的环境下,如何添加新的从机 — mysqldump 

在上一篇博文中,提到使用xtrabackup工具来实现热备,这篇我通过mysqldump来实现在线添加从机

一.目前的基本环境:
  主DB:192.168.1.101
  从DB1:192.168.1.102
  从DB2:192.168.1.100(准备在线添加做为从机的mysql数据库)
  数据库版本:mysql 5.1.61(select  version())
  服务器版本:red hat linux 6
        注:目前主从正常(show slave status\G),同步的数据库为 login
               同步的表为innodb引擎的表
        注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
               所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
        1.主DB,线上数据正常写入的同时我实施备份

  1. # 使用mysqldump进行备份,使用--master-data参数:此值有1和2,大家可以自己google以下  
  2. [root@client101 ~]# mysqldump -uroot -pkongzhong --opt --hex-blob --single_transaction -R --default-character-set=utf8 --master-data=2 login>/tmp/login.sql  
  3. # 再开一个端口,插入数据  
  4. mysql> insert into a select * from a;  
  5. # 备份完毕后,我们查看刚才的备份发现,master的日志文件和pos号  
  6. [root@client101 ~]# grep -i  "change master"  /tmp/login.sql  
  7. -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-101-bin.000007', MASTER_LOG_POS=107;  
  8. # 我刚才在备份的时候也插入数据的,我再看看主上实际的日志文件和pos号  
  9. mysql> show master status;  
  10. +----------------------+----------+--------------+------------------+  
  11. | File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB |  
  12. +----------------------+----------+--------------+------------------+  
  13. | mysql-101-bin.000007 |      532 |              |                  |  
  14. +----------------------+----------+--------------+------------------+  
  15. # 现在我们利用备份还原,利用备份的里的pos号,看能否追上主  

2.备份完成后,将数据传送到需要作为新从机的DB server(192.168.1.100)上用于在上面进行还原

  1. [root@client101 ~]# scp /tmp/login.sql  192.168.1.100:/tmp  

3.从DB2上,使用刚才的备份,并用于恢复

  1. [root@client100 tmp]# mysql -uroot -pkongzhong  login </tmp/login.sql  
  2. # 修改配置文件:/etc/my.cnf  
  3. replicate-wild-do-table=login.%  
  4. innodb_file_per_table=1  
  5. report-host=192.168.1.100  
  6. innodb_lock_wait_timeout=1  
  7. expire_logs_days= 3  
  8. max_binlog_size= 100M  
  9. server-id=100  
  10. # 重新启动数据库  
  11. [root@client103 mysql]# /etc/init.d/mysqld restart  

4.将从DB2的主机指向主DB1

  1. # 备份文件里有备份时的master日志文件和pos号  
  2. [root@client100 ~]# grep -i  "change master"  /tmp/login.sql  
  3. -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-101-bin.000007', MASTER_LOG_POS=107;  
  4. # 建立主从关系  
  5. mysql> change master to master_host='192.168.1.101',  
  6.     -> master_user='slave',  
  7.     -> master_password='slave',  
  8.     -> master_log_file='mysql-101-bin.000007',  
  9.     -> master_log_pos=107;  
  10. # 开启同步  
  11. mysql> start slave;  
  12. # 查看同步状态  
  13. mysql> show slave status\G;  

5.此时如果都为yes,则主从则建立完毕!发现数据已经追上从机了

大家可以自行测试!



线上mysql数据库不停机的环境下,如何添加新的从机 — innobackupex



   在工作中,主从环境搭的多了,但是,基本上都是在DB SERVER停机(游戏公司)的情况下搭建的,今天突然被一技术官问,如何在线添加主从,回答的大概思路,但是没有实践过,下面,我就测试一下。各位也可以先想想自己的思路:mysql 5.1版本,二进制日志文件(时间长了,有些二进制日志定期清除了),pos号
       注:在mysql 5.6版本中,已经有基于GTID的主从复制(即:不需要知道日志文件和position号),只需还原最新的备份就可实现,这里只讨论mysql 5.1
一.目前的基本环境:
  主DB:192.168.1.101
  从DB1:192.168.1.102
  从DB2:192.168.1.103(准备在线添加做为从机的mysql数据库)
  数据库版本:mysql 5.1.61(select  version())
  服务器版本:red hat linux 6
        注:目前主从正常(show slave status\G),同步的数据库为 login
               3台DB server的备份软件(xtrbackup)都已经安装完成
               同步的表为innodb引擎的表,不然用xtrabackup还是会锁表
   假设环境为:现在login库下的表a,备份的时候插入数据,最终行为5418272
        注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
               所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
       1.主DB,线上数据正常写入的同时我实施备份
  1. mysql> insert into a select * from a;  
  2. [root@client101 backup]# innobackupex --user=root --password=kongzhong --defaults-file=/etc/my.cnf --port=3306  --database=login /tmp/backup/ >/tmp/backup/innoback.log 2>&1  
  3. # 备份完成后,可以查看备份文件目录下, xtrabackup_binlog_info  此文件会记录主上的日志和position号  
  4. [root@client101 2014-02-22_07-43-36]# cat xtrabackup_binlog_info   

2.将备份文件压缩,并传送到从DB2(192.168.1.103)上,用于在上面进行还原

  1. [root@client101 backup]# tar zcvf login.tar  2014-02-22_07-43-36  
  2. [root@client101 backup]# scp login.tar  192.168.1.103:/tmp/  

3.从DB2上,解压刚才的备份,并用于恢复

  1. [root@client103 tmp]# tar -xf login.tar  
  2. # 应用日志,保证数据一致  
  3. [root@client103 tmp]# innobackupex --apply-log /tmp/2014-02-22_07-43-36/  
  4. # 停mysql  
  5. [root@client103 mysql]# /etc/init.d/mysqld stop  
  6. # mysql数据目录下的所有文件移到/tmp/mysqlbackup/下,不然,恢复有问题  
  7. # [这里建议只复制数据文件,不建议复制(日志,索引,innodb共享表空间,innodb日志文件,慢日志等)]  
  8. [root@client103 mysql]# mv /var/lib/mysql/*  /tmp/mysqlback  
  9. # 恢复数据  
  10. [root@client103 mysql]# innobackupex --copy-back /tmp/2014-02-22_07-43-36/  
  11. # 将原数据库的内容复制mysql数据目录(这里就是我认为这个软件不好的地方,大家也可以给点建议)  
  12. [root@client103 mysqlback]# mv /tmp/mysqlbac k/* /var/lib/mysql/  
  13. # 将数据目录的权限修改为mysql权限  
  14. [root@client103 mysql]# chown mysql. /var/lib/mysql/  
  15. # 启动数据库  
  16. [root@client103 mysql]# /etc/init.d/mysqld start  
  17. # 验证数据的一致性:5418272(主上的行)  
  18. mysql> select count(*) from a;  
  19. +----------+  
  20. count(*) |  
  21. +----------+  
  22. |  5418272 |  
  23. +----------+  

4.将从DB2的主机指向主DB1

  1. # 刚才回复后,会有个文件:xtrabackup_binlog_pos_innodb --> 此文件记录了备份时日志文件和pos号  
  2. [root@client103 mysql]# cat xtrabackup_binlog_pos_innodb  
  3. /var/lib/mysql/mysql-101-bin.000008     2423  
  4. # 建立主从关系  
  5. mysql> change master to master_host='192.168.1.101',  
  6.     -> master_user='slave',  
  7.     -> master_password='slave',  
  8.     -> master_log_file='mysql-101-bin.000008',  
  9.     -> master_log_pos=2423;  
  10. # 开启同步  
  11. mysql> start slave;  
  12. # 查看同步状态  
  13. mysql> show slave status\G;  

5.此时如果都为yes,则主从则建立完毕!大家可自行测试

注:

     还有一种方式在线添加主从,即原本的从机只做冗余,可以在从机暂时停止主从,
     然后,在从机上执行备份,看当前从机上,日志执行到哪个文件,哪个位置(master的日志文件和pos号)


© 著作权归作者所有

共有 人打赏支持
五大三粗
粉丝 156
博文 2212
码字总数 4566042
作品 0
广州
程序员
线上mysql数据库不停机的环境下,如何添加新的从机 -- innobackupex

更多博文请关注:没有伞的孩子必须努力奔跑 (www.xuchanggang.cn) 在工作中,主从环境搭的多了,但是,基本上都是在DB SERVER停机(游戏公司)的情况下搭建的,今天突然被一技术官问,如何在线...

xcga_wise
2014/02/22
0
0
使用mysqldump备份来实现在线添加新的从机

更多博文请关注:没有伞的孩子必须努力奔跑 (www.xuchanggang.cn) 在上一篇博文中,提到使用xtrabackup工具来实现热备,这篇我通过mysqldump来实现在线添加从机 一.目前的基本环境: 主DB:1...

xcga_wise
2014/02/27
0
0
从SQL Server到MySQL,近百亿数据量迁移实战

沪江成立于 2001 年,作为较早期的教育学习网站,当时技术选型范围并不大:Java 的版本是 1.2,C# 尚未诞生,MySQL 还没有被 Sun 收购,版本号是 3.23。工程师们选择了当时最合适的微软体系,...

狄敬超(3D)
05/29
0
0
添加slave数据库

我们生产环境中会碰到这种情况:备份主机数据,或者添加一台主机。进行双主机的结构。 另外就是在线上中途添加更多的从机。 而我们知道,从机上设置 slave 时要指定 masterlogfile 和 master...

pesen
2014/08/04
0
0
MySQL5.1版本的主从复制搭建

MySQL5.1版本的主从复制搭建 【备注】: 主机192.168.250.20 备机192.168.250.40 主从复制 1主机上面已经有了MySQL5.1.53-log版. 2备机上没有mysql数据库,需要在备机上安装MySQL5.1.53-log软...

vga
2014/10/03
0
0
致DBA:为什么经常犯错?因为你落下了这些功课!

作者介绍 张秀云,网名飞鸿无痕,现任职于腾讯,负责腾讯金融数据库的运维和优化工作。2007年开始从事运维方面的工作,经历过网络管理员、Linux运维工程师、DBA、分布式存储运维等多个IT职位...

张秀云
2017/06/14
0
0
如何从 MongoDB 迁移到 MySQL

最近的一个多月时间其实都在做数据库的迁移工作,我目前在开发的项目其实在上古时代是使用 MySQL 作为主要数据库的,后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB,使用了几个月的时间...

Draveness
2017/10/23
0
0
CI框架的一些小问题

最近几天用CI写一个项目,但是配置控制器的时候遇到问题。前后台控制器分离,在3.x版本不能直接实现,但是在2.X版本是可以的。 本机环境是wnmp 而线上测试机是lamp ,php版本和mysql的版本也...

just_wkj
2015/12/15
22
0
WebHook 自动化部署和运维工具--git-webhook

Git WebHook 一个使用 Python Flask + SQLAchemy + Celery + Redis + React 开发的用于迅速搭建并使用 WebHook 进行自动化部署和运维系统,支持:Github / GitLab / GitOsc。 技术栈简单,部...

匿名
2016/10/23
9.2K
8
【CI/CD】几种常见的不停机发布方式

何为不停机发布? 本文所说的不停机发布,是指在不停止对外服务的前提下完成应用的更新。与热部署的区别在于,热部署关注于应用层面并且以不重启应用为前提,而不停机发布则关注于服务层面。...

English0523
01/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

python3.6用的外库遇到的问题

要用到wmi库 pip install wmi 装后不能用还要安装pywin32库。 要用到crypto加密模块安装pip instal pycrypto装后不能用。要安装pycryptodome。...

oisan_
7分钟前
0
0
select, poll, epoll I/O复用介绍

什么是I/O复用? 内核监视多个文件描述符(I/O文件句柄),一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知应用程序进行相应的读写操作。 I/O多路复用又被称为“事件驱动”(比如读写事...

xiaoxlm
7分钟前
0
0
【Spring 系列 给IOC容器添加组件的几种方式总结】

给Spring 注册Bean的几种方式总结。其中使用@Import注解是Spring Boot 完成自动配置的一个核心注解。 1、Spring 中给IOC容器添加组件的几种方式 在Spring的配置文件中,配置Bean(基于XML方式...

HansonReal
8分钟前
2
0
bootstrapTable语言包设置

###方法一引入不同的语言包 <script src="bootstrap-table-zh-CN.js"></script> ###方法二引入全语言包 <script src="bootstrap-table-locale-all.min.js"></script>//然后在初始化前设计默......

momo1987
9分钟前
0
0
Saltstack 常用命令

1、拷贝文件到客户端 # salt 'slaver.test.com' cp.get_file salt://apache.sls /tmp/cp.txt 2、拷贝目录到客户端 # salt 'slaver.test.com' cp.get_dir salt://test /tmp 3、显示存活的客户......

硅谷课堂
10分钟前
0
0
致初学者-如何学好Python这门编程语言?[图]

致初学者-如何学好Python这门编程语言?[图]: 对于很多Python3初学者,往往会面临以下问题:Python2和Python3我该学习哪一个?是否要安装Linux系统学习Python?Python3有各种版本我该安装哪...

原创小博客
12分钟前
1
0
E31---setopt=protected_multilib=false

今天在云服务器上装nginx,需要先安装一些依赖库比如zlib, ,但是安装zlib时候报错。 yum install -y zlib zlib-devel 1 (-y 指的是如果需要选yes no的自动y)下面是报错 Protected multil...

侠客行之石头
17分钟前
0
0
HTTP常见面试题

Http与Https的区别: HTTP 的URL 以http:// 开头,而HTTPS 的URL 以https:// 开头 HTTP 是不安全的,而 HTTPS 是安全的 HTTP 标准端口是80 ,而 HTTPS 的标准端口是443 在OSI 网络模型中,H...

JK_OPERA
18分钟前
0
0
python爬取站长素材网页图片保存到ppt中

网站地址:http://sc.chinaz.com/tupian/index.html 直接上代码: import requestsfrom bs4 import BeautifulSoupfrom pptx import Presentationfrom pptx.util import Inchesimpor......

你为什么不吃药
20分钟前
1
0
Ubuntu 18.04 swap空间的修改

一、准备工作 执行“sudo swapon -s”命令,查看是否已经存在swap file 二、修改swap file # 如果第一步存在swapfile则需要先禁用sudo swapoff /swapfile# 修改swap 空间的大小为2Gs...

Iceberg_XTY
23分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部