文档章节

Mysql二进制日志文件的管理

最新更新消息
 最新更新消息
发布于 2015/12/15 19:44
字数 1181
阅读 53
收藏 8

Mysql的二进制日志记录的是所有mysql数据库发生变更的信息,因此对数据库非常重要,二进制日志的作用我概括了一下主要包含如下几个方面:

1、可以用于数据库基于时间点的还原。

2、可以用来分析数据库发生更改的情况,比如程序的bug导致数据库数据更改等等。

3、二进制日志还可以用来重建数据库。

从上面的几点可以看出mysql的二进制日志还是非常重要的,在日常工作中,二进制日志又往往非常占空间,尤其是写入比较频繁的数据库,二进制日志更是增长迅猛。那么在DBA的日常工作中如何来管理二进制日志呢?接下来就来详细叙述一下我在日常工作中是如何管理二进制日志的。

我是通过如下方式来管理二进制日志的:

1.  通过shell脚本每小时做一次二进制日志flush操作

2.  通过shell脚本每小时进行一次二进制日志的备份工作,将一小时新产生的二进制日志迁移到nfs备份服务器,并压缩存放,脚本最后附上!

3.  在my.cnf配置文件中加上expire_logs_days = 5,这样mysql会自动删除5天前的日志。

设置步骤如下:

1、搭建NFS备份服务器。

搭建NFS非常简单,如下几步就可以完成:

yum -y install setup-*  initscripts-*  nfs-utils-*  portmap-*  quota-*

编辑/etc/exports,添加一行二进制日志的备份条目:

vim /etc/exports

/data/binlog_backup 192.168.3.135(rw,sync,no_root_squash)  *(ro)

让192.168.3.135这个IP可以读写,其他的只读。

配置完成之后重新启动portmap和nfs就可以了:

/etc/rc.d/init.d/portmap restart

/etc/rc.d/init.d/nfs restart

至此服务器端的NFS就设置完成了。接下来设置客户端就是我们的mysql服务器如何挂载:

/etc/rc.d/init.d/portmap start

mkdir /data/binlog_backup

mount -t nfs 192.168.3.92:/data/binlog_backup /data/binlog_backup

如果不启动客户端的portmap的话挂载的时候会报:mount.nfs: Input/output error,记得将mount的命令添加到/etc/rc.local中,不然下次重启服务器后会导致备份二进制日志失败。

2、将脚本放到mysql数据库上,并设置计划任务为每小时运行一次。

脚本内容如下:

cat bin_log_magment.sh


#!/bin/bash

#Purpose:管理mysql二进制日志,每小时刷新二进制日志,并将日志复制到nfs服务器上,方便以后恢复和问题分析!

#Author:carl_zhang

#Date:2012-5-15


#some variables 一些参数

#定义数据库的相关信息

USERNAME=root

PASSWORD=zhang@123

HOSTIP=localhost

MYSQL=/usr/local/mysql/bin/mysql


#设置二进制日志的路径

BIN_LOG_DIR=/data/dbdata

#设置二进制日志备份的路径

BIN_LOG_BACKUP_DIR=/data/binlog_backup

#定义一个常量来跳过最后一个日志文件

COUNT=0

#定义一个日志文件

LOGFILE=$BIN_LOG_BACKUP_DIR/binlog_backup.log

#找出二进制日志的名称前缀

BINLOG_PREFIX=`grep "log-bin=" /etc/my.cnf | awk -F'=' '{print $2}'`

#检查backup.file文件是否存在,第一次跑的时候如果没有这个会报错

if [ ! -f "$BIN_LOG_BACKUP_DIR/backup.file" ];then

touch $BIN_LOG_BACKUP_DIR/backup.file

fi

#运行文件比较之前先执行一下flush logs

$MYSQL -u$USERNAME -p$PASSWORD -h$HOSTIP -e "flush logs"

#比较二进制日志文件列表和已备份的二进制文件列表

FILE_LIST=`comm -23 $BIN_LOG_DIR/$BINLOG_PREFIX.index $BIN_LOG_BACKUP_DIR/backup.file`

#统计日志文件的个数

FILE_COUNT=`comm -23 $BIN_LOG_DIR/$BINLOG_PREFIX.index $BIN_LOG_BACKUP_DIR/backup.file|wc -l`


#程序正文

#开始备份二进制日志文件

for file in $FILE_LIST

do

BINLOG_NAME=`basename $file`

let COUNT=$COUNT+1

if [ $COUNT -eq $FILE_COUNT ];then

#跳过最新的那个二进制日志文件

echo "skip the lastest binlog file" >> $LOGFILE

else

cp $BIN_LOG_DIR/$BINLOG_NAME $BIN_LOG_BACKUP_DIR/

if [ $? -eq 0 ];then

echo "`date -d "today" +%Y-%m-%d-%H-%M-%S` $BINLOG_NAME backup success" >> $LOGFILE

else

echo "`date -d "today" +%Y-%m-%d-%H-%M-%S` $BINLOG_NAME backup faild, Please check it out" >> $LOGFILE

exit 5

fi

#对二进制日志进行压缩存放

gzip $BIN_LOG_BACKUP_DIR/$BINLOG_NAME

if [ $? -eq 0 ];then

echo "`date -d "today" +%Y-%m-%d-%H-%M-%S` $BINLOG_NAME gzip success" >> $LOGFILE

else

echo "`date -d "today" +%Y-%m-%d-%H-%M-%S` $BINLOG_NAME gzip faild, Please check it out" >> $LOGFILE

exit 5

fi

echo ./$BINLOG_NAME >> $BIN_LOG_BACKUP_DIR/backup.file

fi

done


如果大家需要使用这个脚本,请自行更改对应的配置信息,比如IP地址,用户名密码、以及目录等等。

注意因为这里有mysql的用户名和密码,需要将脚本的权限设置成700,使用命令为:

chmod 700 bin_log_magment.sh

手工运行没有问题以后,添加到计划任务中去:

00 */1 * * *  /var/script/bin_log_magment/bin_log_magment.sh >/dev/null 2>&1

3、设置my.cnf配置文件,加上expire_logs_days = 5,并重启mysql。

这个就不详细叙述了,是个人都会了!


© 著作权归作者所有

最新更新消息
粉丝 1
博文 39
码字总数 49637
作品 0
崇明
私信 提问
Mysql数据库理论基础之十一 ---- 日志管理

一、简介 由MySQL AB公司开发,是最流行的开放源码SQL数据库管理系统,主要特点: 1、是一种数据库管理系统 2、是一种关联数据库管理系统 3、是一种开放源码软件,且有大量可用的共享MySQL软...

风过_无痕
2017/06/14
0
0
Mysql跨机房同步方案

假设现有两个机房,需要做到数据同步。 以下是架构图(实际架构图根据现有机房架构和实际会比下图复杂,但整体思路不变): Mycat、Canal、Otter是关键的三项技术: Mycat:数据库分库分表中...

尚浩宇
2016/05/19
1K
0
mysql日志管理

一、日志类型: MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情: 日志文件 记入文件中的信息类型 错误日志 记录启动、运行或停止时出现的问题。 查询日志 记录建立的客户端...

Lydia_92
2015/10/09
0
0
Mysql 日志管理(学习笔记九)

mysql日志——记录着mysql数据库运行期间的操作和信息 日志作用 (1)当数据库遭到意外损害,可以通过日志文件来查询出错原因 (2)利用日志文件进行数据恢复 日志分类 (1)二进制日志:以二进制文...

sktj
2018/05/21
0
0
MySQL架构组成--物理文件组成

一、MySQL简介 MySQL是由MySQL AB公司(已被ORACLE公司收购)自主研发的,目前IT行业最流行的开放源代码的数据库管理系统之一,是一个支持多线程高并发多用户的关系型数据库管理系统。 MySQ...

FJCA
2017/03/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 程序员做噩梦

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @-冰冰棒- :#今日歌曲推荐# 手嶌葵《Kiss The Girl》 《Kiss The Girl》- 手嶌葵 手机党少年们想听歌,请使劲儿戳(这里) @Sharon啊 :今天...

小小编辑
28分钟前
62
2
Another app is currently holding the yum lock; waiting for it to exit...

Another app is currently holding the yum lock; waiting for it to exit... The other application is: PackageKit Memory : 153 M RSS (266 MB VSZ) Started: Thu Jul 12 00:03......

圣洁之子
36分钟前
0
0
FastDateFormat 研究

FastDateFormat 对缓存的利用,其实就是用ConcurrentHashMap 做了一个map类型的缓存 public F getInstance(final String pattern, TimeZone timeZone, Locale locale) { Validate......

暗中观察
今天
3
0
Android双向绑定原理简述

Android双向绑定原理简述 双向绑定涉及两个部分,即将业务状态的变化传递给UI,以及将用户输入信息传递给业务模型。 首先我们来看业务状态是如何传递给UI的。开启dataBinding后,编译器为布局...

tommwq
今天
4
0
Spring系列教程八: Spring实现事务的两种方式

一、 Spring事务概念: 事务是一系列的动作,它们综合在一起才是一个完整的工作单元,这些动作必须全部完成,如果有一个失败的话,那么事务就会回滚到最开始的状态,仿佛什么都没发生过一样。...

我叫小糖主
今天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部