文档章节

Mysql+Heartbeat+Drbd生产环境高可用部署若干问题解惑

Andy-xu
 Andy-xu
发布于 2014/08/30 13:12
字数 2081
阅读 120
收藏 1


Mysql+Heartbeat+Drbd生产环境高可用部署若干问题解惑:
############################################################
#
# Purpose: Mysql+Heartbeat+drbd高可用部署中学生的几个疑惑解答
#
# USER          YYYY-MM-DD – ACTION
# Oldboy        2011-3-14 – Created
# QQ:31333741   老男孩       mail:31333741@qq.com
# 网站运维QQ群:37081784 (进群务必先看公告,更改群名片)
############################################################
    平时发现大家在使用Mysql+Heartbeat+Drbd高可用应用时 或多或少的遇到了一些麻烦,这里老男孩针对大家
的问题挑有意义的一一解答如下。本人的水平有限,解答难免有错误或偏颇的地方,请大家及时批评指正。让我们共同
进步,一起提高技能水平。

===========================================================
学生问题1.貌似虚拟机重启,必须手动执行modprobe drbd 才能正常加载,不知道实体机是不是也会这样?
老男孩解答:
 这个是可以设置的,如在rc.local里加入modprobe drbd,但我不推荐这样做。
 主库故障后,恢复后,DRBD应该保留人工介入启动,而不应该自动modprobe drbd && drbdadm up all.
 涉及到数据的操作还是谨慎为好。第一次 能正确切到备用机就算完成了高可用的任务了。
 此时修复故障机是正常应该人工做的。
===========================================================
学生问题2:mcast eth1 225.0.0.1 694 1 0 -----当同一IDC有多个这样的情况,应该使用单播.
老男孩解答:
即使是多个HEARTBEAT服务同时开,多播也没有问题,多播地址不同即可(可选多播地址段224.0.0.0 - 239.255.255.255),一般路由器、交换机等等应该都是多播的形式。
===========================================================
学生问题3:
master故障,slave自动切换没有问题,此时所有的数据都通过slave写入,当master恢复的时候,此时,还能按照之前的操作来进行吗? 数据会自动同步过去吗??做了试验,按照以上的操作恢复主从关系时候,数据被master上的数据覆盖,slave上新增的数据丢失。
此时是不是我还有哪些地方没有考虑到???希望师傅能指点一下,当slave写入数据,在master回来时候,怎么保证数据的完整性。
老男孩解答:
A、大前提, 配置了auto_failback on参数。
方法:
1.原主库故障恢复后,先不要起HEARTBEAT
2.先加载DRBD到内核并起动drbd资源, 确保当前提供服务的库和故障恢复的库数据一致,可以cat /proc/drbd 看drbd状态。
3.如果两边不一致,需要把数据推回故障恢复的库,确保两边保持同步。
4.然后在起HEARTBEAT完成自动切换。

B、大前提,auto_failback off或者未配置此参数。
方法:
1.原主库故障恢复后,将drbd加载到内核,此时可以起HEARTBEAT,此时正常情况下DRBD状态应该是同步状态或正在同步状态.
2.如果确实未同步,可先起drbd 资源, 确保当前提供服务的库和故障恢复的库数据一致,可以cat /proc/drbd 看drbd状态。
3..然后在当前提供服务的库 执行/usr/lib64/heartbeat/hb_standby 完成db的切换。
另外:
有关heartbeat工作具体思路流程,请大家仔细研究haresource里的如下脚本:
抽空我给大家逐句的详细解读heartbeat启动时执行的脚本:
/etc/ha.d/resource.d/IPaddr 10.0.0.149/24/eth0 start
/etc/ha.d/resource.d/drbddisk data start
/etc/ha.d/resource.d/Filesystem /dev/drbd0 /data ext3 start
===========================================================
学生问题4:drbd脑裂问题的解决总结(准备上生产环境的实际部署)
老男孩说明:以下为经过老男孩的指导,某学生的一次故障恢复解决过程。

系统环境
db-1-1主master
[root@db-1-1 ~]# uname -a
Linux db-1-1 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:14 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
[root@db-1-1 ~]# cat /etc/redhat-release
CentOS release 5.5 (Final)

db-1-2从slave
Linux db-1-2 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:14 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
[root@db-1-2 ~]# cat /etc/redhat-release
CentOS release 5.5 (Final)

故障重现
机房电源电压不够用,需要对服务器进行停机,调整电源.
所以把两台数据库服务器都关机;

注意:不要把drbd设置成自启动;<这次造成裂脑原因可能是自己忘记了把drbd自启动关了>
[root@db-1-1 ~]# chkconfig --list|grep 3:on
[root@db-1-1 ~]# chkconfig drbd off

[root@db-1-2 ~]# chkconfig --list|grep 3:on
[root@db-1-2 ~]# chkconfig drbd off
###############################################################################
[root@db-1-1 ~]# /etc/rc.d/init.d/drbd status
drbd driver loaded OK; device status:
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
m:res   cs          ro                 ds                 p      mounted  fstype
0:data  StandAlone  Secondary/Unknown  UpToDate/DUnknown  r----
[root@db-1-1 ~]# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
 0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown   r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:164
[root@db-1-1 ~]# netstat -ltuanp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name  
tcp        0      0 :::22                       :::*                        LISTEN      2885/sshd          
tcp        0    148 ::ffff:10.1.71.2:22         ::ffff:10.1.71.50:49282     ESTABLISHED 2988/0             
[root@db-1-1 ~]#
###############################################################################
###############################################################################
[root@db-1-2 ~]# /etc/rc.d/init.d/drbd status
drbd driver loaded OK; device status:
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
m:res   cs          ro                 ds                 p      mounted  fstype
0:data  StandAlone  Secondary/Unknown  UpToDate/DUnknown  r----
[root@db-1-2 ~]# cat /proc/drbd             
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
 0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown   r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:1836
[root@db-1-2 ~]# netstat -ltluanp           
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name  
tcp        0      0 :::22                       :::*                        LISTEN      2895/sshd          
tcp        0      0 ::ffff:10.1.71.3:22         ::ffff:10.1.71.50:49283     ESTABLISHED 2999/0             
###############################################################################

###############################################################################
日志报告
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Starting asender thread (from drbd0_receiver [2958])
Mar 11 18:51:55 db-1-2 kernel: block drbd0: data-integrity-alg: <not-used>
Mar 11 18:51:55 db-1-2 kernel: block drbd0: drbd_sync_handshake:
Mar 11 18:51:55 db-1-2 kernel: block drbd0: self 8750305FE84E8C5E:588570FE8E41445A:5849B8D4E0A36374:0000000000000004 bits:459 flags
:0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: peer ECD9B1A40CC33F6A:588570FE8E41445B:5849B8D4E0A36374:0000000000000004 bits:41 flags:
0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: uuid_compare()=100 by rule 90
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm initial-split-brain minor-0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm initial-split-brain minor-0 exit code 0 (0x0)
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Split-Brain detected but unresolved, dropping connection!
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm split-brain minor-0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm split-brain minor-0 exit code 0 (0x0)
Mar 11 18:51:55 db-1-2 kernel: block drbd0: conn( WFReportParams -> Disconnecting )
Mar 11 18:51:55 db-1-2 kernel: block drbd0: error receiving ReportState, l: 4!
Mar 11 18:51:55 db-1-2 kernel: block drbd0: asender terminated
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Terminating asender thread
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Connection closed
Mar 11 18:51:55 db-1-2 kernel: block drbd0: conn( Disconnecting -> StandAlone )
Mar 11 18:51:55 db-1-2 kernel: block drbd0: receiver terminated
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Terminating receiver thread
###############################################################################
解决方法:
db-1-2操作
首先,在从节点如下操作:
drbdadm secondary data
drbdadm -- --discard-my-data connect data
如果你做的是单主从模式可以
drbdadm secondary all
drbdadm -- --discard-my-data connect all

db-1-1操作
在主节点master上,执行cat /proc/drbd查看状态,如不是WFConnection状态,需执行下面命令手动连接:
drbdadm connect data
如你你做的是单主从模式可以
drbdadm connect all
cat /proc/drbd  查看两端状态
netstat -ltuanp 查看端口状态
drbdadm -- --overwrite-data-of-peer primary data 设置drbd主<由于启动的时候两边的状态都是Secondary/Secondary>

与老男孩对话记录^,^!
###############################################################################
解决办法
老男孩 23:30:47
首先,在从节点(slave)如下操作:
drbdadm secondary data
drbdadm -- --discard-my-data connect data
 
老男孩 23:31:35
b.在主节点(master)上,通过cat /proc/drbd查看状态,状态不正常,可执行如下命令手动动连接:
drbdadm connect data

老男孩 23:45:04
/etc/message中的错误/sbin/drbdadm initial-split-brain minor-0 提示的很清楚了。
###############################################################################
最后,很感谢感谢老男孩师傅的帮助,让我的郁闷的心情烟消云散啊,呵呵。
===========================================================
(本文完)

本文出自 “老男孩linux运维” 博客,请务必保留此出处http://oldboy.blog.51cto.com/2561410/515345

本文转载自:http://oldboy.blog.51cto.com/2561410/515345

Andy-xu
粉丝 112
博文 95
码字总数 179246
作品 0
大兴
运维
私信 提问
mysql+heartbeat+drbd高可用

mysql+drbd+heartbeat高可用综合 在企业的实际生产中, 一主多从的mysql数据库架构是最常用的DB架构方案,该架构方案部署简单,维护方便 并且通过配置简单的代理或者通过程序的方式就可以实现...

泡海椒
2016/03/23
82
0
搭建 OpenStack 实验环境 - 每天5分钟玩转 OpenStack(16)

在学习 OpenStack 各服务之前,让我们先搭建起一个实验环境。 毋庸置疑,一个看得到摸得着而且允许我们随便折腾的 OpenStack 能够提高我们的学习效率。 因为是我们自己学习用的实验环境,Clo...

CloudMAN
2016/04/04
969
1
Windows Server 2008 R2之高可用管理系列之一(大纲)

在企业生产环境中,高可用成为服务器的一个必要选项,不管是大小公司,都应该采用高可用性,避免服务在工作中突然宕机。 高可用系列分为2个部分: 第一是文件服务器高可用性 第二是Sql Serve...

peterceo
2014/03/11
0
0
生产环境swarm集群规划和管理

swarm集群角色 swarm集群中有两种角色,manager node和 worker ndoe。 manager的功能: 维护集群状态 任务调度 为swarm集群提供HTTP API 可以创建只有一个manager节点的swarm集群,但是swarm...

zenge_blog
2018/07/04
0
0
Kubernetes集群高可用的策略和实践

Kubernetes高可用也许是完成了初步的技术评估,打算将生产环境迁移进Kubernetes集群之前普遍面临的问题。 为了减少因为服务器当机引起的业务中断,生产环境中的业务系统往往已经做好了高可用...

openthings
2018/08/21
498
0

没有更多内容

加载失败,请刷新页面

加载更多

mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
今天
9
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
今天
6
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
今天
8
0
Flutter 系列之Dart语言概述

Dart语言与其他语言究竟有什么不同呢?在已有的编程语言经验的基础上,我们该如何快速上手呢?本篇文章从编程语言中最重要的组成部分,也就是基础语法与类型变量出发,一起来学习Dart吧 一、...

過愙
今天
5
0
rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部