文档章节

线上mysql数据库不停机的环境下,如何添加新的从机

五大三粗
 五大三粗
发布于 2015/04/20 17:17
字数 1593
阅读 27
收藏 0

线上mysql数据库不停机的环境下,如何添加新的从机 — mysqldump 

在上一篇博文中,提到使用xtrabackup工具来实现热备,这篇我通过mysqldump来实现在线添加从机

一.目前的基本环境:
  主DB:192.168.1.101
  从DB1:192.168.1.102
  从DB2:192.168.1.100(准备在线添加做为从机的mysql数据库)
  数据库版本:mysql 5.1.61(select  version())
  服务器版本:red hat linux 6
        注:目前主从正常(show slave status\G),同步的数据库为 login
               同步的表为innodb引擎的表
        注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
               所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
        1.主DB,线上数据正常写入的同时我实施备份

  1. # 使用mysqldump进行备份,使用--master-data参数:此值有1和2,大家可以自己google以下  
  2. [root@client101 ~]# mysqldump -uroot -pkongzhong --opt --hex-blob --single_transaction -R --default-character-set=utf8 --master-data=2 login>/tmp/login.sql  
  3. # 再开一个端口,插入数据  
  4. mysql> insert into a select * from a;  
  5. # 备份完毕后,我们查看刚才的备份发现,master的日志文件和pos号  
  6. [root@client101 ~]# grep -i  "change master"  /tmp/login.sql  
  7. -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-101-bin.000007', MASTER_LOG_POS=107;  
  8. # 我刚才在备份的时候也插入数据的,我再看看主上实际的日志文件和pos号  
  9. mysql> show master status;  
  10. +----------------------+----------+--------------+------------------+  
  11. | File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB |  
  12. +----------------------+----------+--------------+------------------+  
  13. | mysql-101-bin.000007 |      532 |              |                  |  
  14. +----------------------+----------+--------------+------------------+  
  15. # 现在我们利用备份还原,利用备份的里的pos号,看能否追上主  

2.备份完成后,将数据传送到需要作为新从机的DB server(192.168.1.100)上用于在上面进行还原

  1. [root@client101 ~]# scp /tmp/login.sql  192.168.1.100:/tmp  

3.从DB2上,使用刚才的备份,并用于恢复

  1. [root@client100 tmp]# mysql -uroot -pkongzhong  login </tmp/login.sql  
  2. # 修改配置文件:/etc/my.cnf  
  3. replicate-wild-do-table=login.%  
  4. innodb_file_per_table=1  
  5. report-host=192.168.1.100  
  6. innodb_lock_wait_timeout=1  
  7. expire_logs_days= 3  
  8. max_binlog_size= 100M  
  9. server-id=100  
  10. # 重新启动数据库  
  11. [root@client103 mysql]# /etc/init.d/mysqld restart  

4.将从DB2的主机指向主DB1

  1. # 备份文件里有备份时的master日志文件和pos号  
  2. [root@client100 ~]# grep -i  "change master"  /tmp/login.sql  
  3. -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-101-bin.000007', MASTER_LOG_POS=107;  
  4. # 建立主从关系  
  5. mysql> change master to master_host='192.168.1.101',  
  6.     -> master_user='slave',  
  7.     -> master_password='slave',  
  8.     -> master_log_file='mysql-101-bin.000007',  
  9.     -> master_log_pos=107;  
  10. # 开启同步  
  11. mysql> start slave;  
  12. # 查看同步状态  
  13. mysql> show slave status\G;  

5.此时如果都为yes,则主从则建立完毕!发现数据已经追上从机了

大家可以自行测试!



线上mysql数据库不停机的环境下,如何添加新的从机 — innobackupex



   在工作中,主从环境搭的多了,但是,基本上都是在DB SERVER停机(游戏公司)的情况下搭建的,今天突然被一技术官问,如何在线添加主从,回答的大概思路,但是没有实践过,下面,我就测试一下。各位也可以先想想自己的思路:mysql 5.1版本,二进制日志文件(时间长了,有些二进制日志定期清除了),pos号
       注:在mysql 5.6版本中,已经有基于GTID的主从复制(即:不需要知道日志文件和position号),只需还原最新的备份就可实现,这里只讨论mysql 5.1
一.目前的基本环境:
  主DB:192.168.1.101
  从DB1:192.168.1.102
  从DB2:192.168.1.103(准备在线添加做为从机的mysql数据库)
  数据库版本:mysql 5.1.61(select  version())
  服务器版本:red hat linux 6
        注:目前主从正常(show slave status\G),同步的数据库为 login
               3台DB server的备份软件(xtrbackup)都已经安装完成
               同步的表为innodb引擎的表,不然用xtrabackup还是会锁表
   假设环境为:现在login库下的表a,备份的时候插入数据,最终行为5418272
        注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
               所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
       1.主DB,线上数据正常写入的同时我实施备份
  1. mysql> insert into a select * from a;  
  2. [root@client101 backup]# innobackupex --user=root --password=kongzhong --defaults-file=/etc/my.cnf --port=3306  --database=login /tmp/backup/ >/tmp/backup/innoback.log 2>&1  
  3. # 备份完成后,可以查看备份文件目录下, xtrabackup_binlog_info  此文件会记录主上的日志和position号  
  4. [root@client101 2014-02-22_07-43-36]# cat xtrabackup_binlog_info   

2.将备份文件压缩,并传送到从DB2(192.168.1.103)上,用于在上面进行还原

  1. [root@client101 backup]# tar zcvf login.tar  2014-02-22_07-43-36  
  2. [root@client101 backup]# scp login.tar  192.168.1.103:/tmp/  

3.从DB2上,解压刚才的备份,并用于恢复

  1. [root@client103 tmp]# tar -xf login.tar  
  2. # 应用日志,保证数据一致  
  3. [root@client103 tmp]# innobackupex --apply-log /tmp/2014-02-22_07-43-36/  
  4. # 停mysql  
  5. [root@client103 mysql]# /etc/init.d/mysqld stop  
  6. # mysql数据目录下的所有文件移到/tmp/mysqlbackup/下,不然,恢复有问题  
  7. # [这里建议只复制数据文件,不建议复制(日志,索引,innodb共享表空间,innodb日志文件,慢日志等)]  
  8. [root@client103 mysql]# mv /var/lib/mysql/*  /tmp/mysqlback  
  9. # 恢复数据  
  10. [root@client103 mysql]# innobackupex --copy-back /tmp/2014-02-22_07-43-36/  
  11. # 将原数据库的内容复制mysql数据目录(这里就是我认为这个软件不好的地方,大家也可以给点建议)  
  12. [root@client103 mysqlback]# mv /tmp/mysqlbac k/* /var/lib/mysql/  
  13. # 将数据目录的权限修改为mysql权限  
  14. [root@client103 mysql]# chown mysql. /var/lib/mysql/  
  15. # 启动数据库  
  16. [root@client103 mysql]# /etc/init.d/mysqld start  
  17. # 验证数据的一致性:5418272(主上的行)  
  18. mysql> select count(*) from a;  
  19. +----------+  
  20. count(*) |  
  21. +----------+  
  22. |  5418272 |  
  23. +----------+  

4.将从DB2的主机指向主DB1

  1. # 刚才回复后,会有个文件:xtrabackup_binlog_pos_innodb --> 此文件记录了备份时日志文件和pos号  
  2. [root@client103 mysql]# cat xtrabackup_binlog_pos_innodb  
  3. /var/lib/mysql/mysql-101-bin.000008     2423  
  4. # 建立主从关系  
  5. mysql> change master to master_host='192.168.1.101',  
  6.     -> master_user='slave',  
  7.     -> master_password='slave',  
  8.     -> master_log_file='mysql-101-bin.000008',  
  9.     -> master_log_pos=2423;  
  10. # 开启同步  
  11. mysql> start slave;  
  12. # 查看同步状态  
  13. mysql> show slave status\G;  

5.此时如果都为yes,则主从则建立完毕!大家可自行测试

注:

     还有一种方式在线添加主从,即原本的从机只做冗余,可以在从机暂时停止主从,
     然后,在从机上执行备份,看当前从机上,日志执行到哪个文件,哪个位置(master的日志文件和pos号)


© 著作权归作者所有

共有 人打赏支持
五大三粗
粉丝 159
博文 2250
码字总数 4671674
作品 0
广州
程序员
线上mysql数据库不停机的环境下,如何添加新的从机 -- innobackupex

更多博文请关注:没有伞的孩子必须努力奔跑 (www.xuchanggang.cn) 在工作中,主从环境搭的多了,但是,基本上都是在DB SERVER停机(游戏公司)的情况下搭建的,今天突然被一技术官问,如何在线...

xcga_wise
2014/02/22
0
0
使用mysqldump备份来实现在线添加新的从机

更多博文请关注:没有伞的孩子必须努力奔跑 (www.xuchanggang.cn) 在上一篇博文中,提到使用xtrabackup工具来实现热备,这篇我通过mysqldump来实现在线添加从机 一.目前的基本环境: 主DB:1...

xcga_wise
2014/02/27
0
0
欧洲最大 MySQL 用户之一,Booking.com 数据库构架探秘!

点击▲关注 “ITPUB” 给公众号标星置顶 更多精彩 第一时间直达 ▲吴鑫 Booking.com 数据库工程师 Team Lead 2015 年加入总部位于阿姆斯特丹的 Booking.com 数据团队,现任数据库工程师团队负...

ITPUB
08/07
0
0
从SQL Server到MySQL,近百亿数据量迁移实战

沪江成立于 2001 年,作为较早期的教育学习网站,当时技术选型范围并不大:Java 的版本是 1.2,C# 尚未诞生,MySQL 还没有被 Sun 收购,版本号是 3.23。工程师们选择了当时最合适的微软体系,...

狄敬超(3D)
05/29
0
0
添加slave数据库

我们生产环境中会碰到这种情况:备份主机数据,或者添加一台主机。进行双主机的结构。 另外就是在线上中途添加更多的从机。 而我们知道,从机上设置 slave 时要指定 masterlogfile 和 master...

pesen
2014/08/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

你为什么在Redis里读到了本应过期的数据

一个事故的故事 晚上睡的正香突然被电话吵醒,对面是开发焦急的声音:我们的程序在访问redis的时候读到了本应过期的key导致整个业务逻辑出了问题,需要马上解决。 看到这里你可能会想:这是不...

IT--小哥
今天
2
0
祝大家节日快乐,阖家幸福! centos GnuTLS 漏洞

yum update -y gnutls 修复了GnuTLS 漏洞。更新到最新 gnutls.x86_64 0:2.12.23-22.el6 版本

yizhichao
昨天
5
0
Scrapy 1.5.0之选择器

构造选择器 Scrapy选择器是通过文本(Text)或 TextResponse 对象构造的 Selector 类的实例。 它根据输入类型自动选择最佳的解析规则(XML vs HTML): >>> from scrapy.selector import Sele...

Eappo_Geng
昨天
4
0
Windows下Git多账号配置,同一电脑多个ssh-key的管理

Windows下Git多账号配置,同一电脑多个ssh-key的管理   这一篇文章是对上一篇文章《Git-TortoiseGit完整配置流程》的拓展,所以需要对上一篇文章有所了解,当然直接往下看也可以,其中也有...

morpheusWB
昨天
5
0
中秋快乐!!!

HiBlock
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部