文档章节

系统文件备份,rsync

胡子叭槎
 胡子叭槎
发布于 2016/11/15 22:09
字数 1711
阅读 40
收藏 0

1 安装备份工具软件 rsync

    [root@myvm soft]# yum install rsync.x86_64

 2 工作模式

    shell模式:就是执行指令,也叫本地模式
            远程shell模式,可以利用ssh协议作为数据传输的承载
            列表模式:仅仅列出源的内容 -nv
            服务器模式:rsync作为一个守护进程,可以接收客户端的数据传输请求,可以进行数据的获取和上载

参数:
                -n:测试模式对于命令的执行效果不缺定一定要使用此参数进行测试之后,在运行
                -v:显示详细过程信息
                -r:递归
                -q:静默模式
                -c:checksum文件校验
                -a:归档,保留文件属性
                -p:保留权限
                -t:保留时间戳
                -l:保留符号链接
                -g:保留属组
                -o:保留属主
                -D:保留设备文件
                -e ssh:使用ssh歇息作承载数据传输
                -z:压缩传输数据
                --progress:显示进度
                --stats:显示状态

                --exclude --exclude="filename|dirname"
                          --exclude="*.txt"
                          排除此指定内容之外的文件或目录都同步过去
                --delete 
                    保证源目录和目的目录里面内容的一致性,如果目的目录中自己多添加了会被删除


                rsync etc user@host:dst -rv
                rsync etc/ user@host:dst -rv
                以上两个指令执行的结果会不一样
                没有加上目录后面的斜线会同步目录本身过去
                加上目录后面的斜线之后会同步目录下面的所有文件或目录

    3 常用备份例子

        常用到的就是服务器模式,需要两台以上的机器,一个做服务器,其他的做客户机。

注意:这里所谓的服务器是只在备份这个动作中作为存储备份脚本的机器,客户机是指被备份的机器

   3.1 设置服务器

        安装软件rsync  xinetd

[root@myvm soft]# yum install rsync.x86_64 xinetd

        配置xinetd 的配置文件

[root@myvm soft]# vim /etc/xinetd.d/rsync
# default: off
# description: The rsync server is a good addition to an ftp server, as it \
#       allows crc checksumming etc.
service rsync
{
        disable = no                         # 原来是yes ,改为no
        flags           = IPv6
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/bin/rsync
        server_args     = --daemon
        log_on_failure  += USERID
}

编写rsync的配置文件

[root@myvm soft]# vim /etc/rsyncd.conf
uid=nobody
gid=nobody
use chroot=no
max connections=5
strict modes=yes
pid file=/var/run/rsyncd.pid
log=/var/log/rsyncd.log
[data]
path=/test                   # 设置自己服务器定共享目录
ignore errors=yes
read only=no
write only=no
hosts allow=192.168.125.0/24  # 设置可以接收客户机定地址或者地址段
hosts deny = * 
list=false
uid=root
gid=root
auth users=tom
secrets file=/etc/rsyncd.passwd 

密码文件
                        vim /etc/rsyncd.passwd
                        tom:123456

守护进程启动
                        /etc/init.d/xinetd restart
                        netstat -anutlp|grep 873

客户端测试

[root@myvm tmp]# rsync -avxzRP /tmp/tmp up14@192.168.1.110::data
Password: 
sending incremental file list
/tmp/
/tmp/tmp/
/tmp/tmp/10.txt
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=1/4)

sent 132 bytes  received 35 bytes  47.71 bytes/sec
total size is 0  speedup is 0.00

上面刚刚建的/tmp/tmp/10.txt 推送到服务器上去了

总结:
                rsync -avzP  --delete /tmp/test tom@192.168.242.132::data 拷贝test目录过去
                rsync -avzP  --delete /tmp/test/ tom@192.168.242.132::data 老被test目录下的所有内容 不包含test目录本身
                rsync -avzRP  --delete /tmp/test tom@192.168.242.132::data 会保留tmp/test目

客户端验证:

#客户端推送文件
[root@myvm2 tmp]# rsync -avzRP /tmp wzl@192.168.1.111::data
Password: 
sending incremental file list
/tmp/
/tmp/1.txt
          12 100%    0.00kB/s    0:00:00 (xfer#1, to-check=2/4)
/tmp/yum.log
           0 100%    0.00kB/s    0:00:00 (xfer#2, to-check=1/4)
/tmp/.ICE-unix/

sent 191 bytes  received 54 bytes  70.00 bytes/sec
total size is 12  speedup is 0.05

# 服务端文件检查
[root@myvm test]# ll
total 4
drwxrwxrwt 3 root root 4096 Nov 15 22:29 tmp


 

inotify-tools:
                是为linux下inotify文件监控工具提供的一套c接口的开发接口库函数,同时还提供一些列的命令行工具,这些工具可以用来监控文件系统的事件,只要求linux内核支持inotify,inotifywait监控文件或目录的变化,inotifywatch统计文件访问次数
                ls /proc/sys/fs/inotify
                安装inotify-tools
                下载
                解压inotify-tools-3.14.tar.gz
                tar -xvf inotify-tools-3.14.tar.gz
                cd inotify-tools-3.14
                ./configure --prefix=/usr
                make
                make install

                ln -s /usr/lib/libinotifytools.so.0 /usr/lib64/
                inotifywait
                -h:帮助
                @:排除不需要监视的文件或目录
                -fromfile:从文件中读取需要监视的文件,排除的文件以@开头
                -m:接收到一个事件而不退出,无限期执行,默认是接收到一个事件就退出
                -d:和-m一样,还需要指定-outfile也意味着使用-syslog
                -o:输出事件到一个文件
                -s:输出错误信息到系统日志
                -r:监控目录下所有子目录
                -q:指定一次不会输出详细信息,指定二次除了致命错误不会输出任何信息
                -exclude:正则匹配要排除的文件
                -excludei:正则匹配要排除的文件忽略大小写
                -t:设置超时时间,0表示无限期执行下去
                -e:指定监控事件
                -c:输出csv格式
                -timefmt:时间格式化可以使用-format中%T格式
                -format:
                    %w:表示发生事件的目录
                    %f:表示发生事件的文件
                    %e:表示发生的事件
                    %Xe:事件以X分割
                    %T:-timefmt定义的时间格式

                inotifywatch:
                -h
                @
                -v输出详细信息
                -fromfile
                -z:输出表格的列和行
                -exclude
                -excludei
                -r
                -t
                -e
                -a:指定事件以升序排列
                -d:降序排列
                可监听事件:
                    access
                    modify
                    attrib
                    close_nowrite
                    close
                    open
                    moved_to
                    moved_from
                    move
                    create
                    delete
                    
    要监控/tmp/test目录及其内部所有文件上发生的create,delete,modify,close_write事件,则使用如下命令
    inotifywait -rm --timefmt '%Y-%m-%d %H:%M' --format '%T %w %e %f' -e create,delete,modify,close_write /tmp/test
    inotifywatch -vzr -e create,delete,modify,close_write,access,attrib /tmp/test
    inotifywatch -vzr -t 60 -e create,delete,modify,close_write,access,attrib /tmp/test

通过inotify+rsync进行实时有触发条件的同步
      前提需要安装inotify-tools和rsync的服务器模式
      #!/bin/bash
      #
      #
       
       inotifywait -rm --timefmt '%Y-%m-%d %H:%M' --format '%T %w  %f' -e     create,delete,modify,close_write,attrib /www|while read DATE TIME DIR FILE;do
      FILECHANGE=${DIR}${FILE}
      cd /www/
      rsync -avzRP --delete --progress --stats --password-file=/etc/r    syncd.passwd * --exclude-from="/var/log/rule.txt" tom@192.168.242.132::data &
      echo "at ${TIME} on ${DATE} file $FILECHANGE was backup via rstnc" >> /var/log/rule.txt
      done

    为了让sh inotify.sh一直执行的方式
        supervisor推荐
        screen
        nohup


2.注意备份的时候是否需要打包压缩,是否需要本地异地都有备份,最好给备份文件加上一个标识以便还原的时候方便区分,根据实际情况考虑
编辑shell脚本:


#!/bin/bash
#
#
# emai:18521701110@163.com
# 王紫龙
#
#

 inotifywait -rm --timefmt '%Y-%m-%d %H:%M' --format '%T %w  %f' -e     create,delete,modify,close_write,attrib /www|while read DATE TIME DIR FILE;do
FILECHANGE=${DIR}${FILE}
cd /www/
rsync -avzRP --delete --progress --stats --password-file=/etc/rsyncd.passwd * --exclude-from="/var/log/rule.txt" wzl@192.168.1.111::data &
echo "at ${TIME} on ${DATE} file $FILECHANGE was backup via rstnc" >> /var/log/rule.txt
done

上面脚本中监控/www 目录

如果/www 中有任何变动,则/www目录下的所有文件都听不到服务器共享目录下

 

© 著作权归作者所有

共有 人打赏支持
胡子叭槎
粉丝 21
博文 126
码字总数 132913
作品 0
成都
数据库管理员
一键部署rysnc实现全网备份

需要的工具:ansible 批量管理工具 思路: 实现一键自动化安装好rysnc备份服务器,实现全网备份 rysnc配置文件,是在管理机上,推送到我们的rysnc服务器上的,所以我们可以随时可以在管理机修...

啊凯linux
06/28
0
0
Rsync+inotify实现文件实时同步

数据备份、文件备份是运维、DBA等岗位最熟悉不过的话题,这里不介绍数据库的备份,简单介绍一下文件同步工具,这样的工具有很多,Windows环境下有Goodsync、FreeFileSync等,Linux下rsync、u...

tianya1993
2017/09/17
0
0
rsync+inotify实现服务器之间文件实时同步

之前做了“ssh信任与scp自动传输脚本”的技术文档,此方案是作为公司里备份的方法,但在实际的运行中,由于主服务器在给备份服务器传输的时候,我们的主服务器需要备份的文件是实时、不停的产...

chaun
2016/04/27
102
0
Mac OS X:升级rsync和同步应用实例

Mac OS X:升级rsync到最新版本 Tech Level 3 History: July 17, 2009: 若干处修辞的修改. 添加了和TimeMachine的比较部分. rsync简介 rsync是开放许可GPL开放源码的增量数据传输/同步命令行...

junwong
2012/03/09
0
0
用rsync实现网站镜像和备份

简介   对于选择Linux 作为应用平台的的中小型企业或网站来说,往往面临如何实现数据远程备份或者网站镜象的问题,虽然有商业化的备份和镜象产品可供选择,但这些产品的价格往往过于昂贵。...

刘赤龙
2010/06/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式锁的那点事

在多线程并发的情况下,要保证一个代码块在同一时间只能由一个线程访问,可以用锁来保证,比如java的synchronized语法以及ReentrantLock类等等。这样子可以保证JVM进程内的多个线程同步执行。...

无语年华
21分钟前
2
0
apahce启用http2

需要前置条件传送门 其实前置做完了,h2是很简单的事 1.apache启用http2_module 2.打开apche的配置文件,写上 Protocols h2 http/1.1 3.重启apache,打开浏览器看看吧...

gcudwork
37分钟前
1
0
redis-string

set key value 设置值 set命令有以下选项: ex senconds :为健设置秒级过期时间 px millisencondes :为健设置毫秒级过期时间 nx :健不存在时候,可以设置成功,用于添加 xx : 与nx相反,不...

拐美人
42分钟前
2
0
正弦 余弦 角度 用于画时钟

<html> <head> <title>时钟</title> </head> <style> #canvas{ background: #1977ca } </style>......

一箭落旄头
59分钟前
4
0
驰狼课堂

http://www.chilangedu.com/

求是科技
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部