文档章节

使用rsync来实现文件同步

光石头
 光石头
发布于 2011/09/08 13:37
字数 2143
阅读 316
收藏 1


http://www.howtocn.org/rsync:use_rsync_server

这个才是王道!!!



使用rsync来实现文件同步

部分参考
程序 技术 — SuperTaoer
第一步,先来下载这个免费的软件。
一定要去官方网站下载最新的版本,
解压缩后,编译很简单
./configure –prefix=/usr/local/rsync && make && make install
然后先来配置服务端吧
先来编辑服务端配置文件
#vi /etc/rsyncd.conf
# 全局配置
uid = root
gid = root
hosts allow = 192.168.0.1
192.168.1.2(中间无空格)
#hosts deny = 0.0.0.0/32
use chroot = no #  不使用chroot
max connections = 10 # 
最大连接数为10
#motd file = /etc/rsyncd.motd #
欢迎信息文件名称和存放位置(此文件没有,可以自行添加)
pid file = /var/run/rsyncd.pid #
指定rsyncpid文件
lock file = /var/run/rsync.lock #
指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock
log file = /var/log/rsyncd.log #
指定rsync的日志文件,而不将日志发送给syslog
# 下面就是每个模块的配置了
[rsync_module_name1] # 
这里是认证的模块名,在client端需要指定
path = /rsync_path/dir1 # 
需要做镜像的目录
comment = rsync files
ignore errors # 
可以忽略一些无关的IO错误
read only = yes # 
只读
list = no # 
不允许列文件
auth users = rsync_user # 
认证的用户名,如果没有这行,则表明是匿名,多个用户用,分隔
secrets file = /etc/rsyncd.pas # 
认证文件名
#pid file = /var/run/rsyncd.pid
#log file = /var/log/rsyncd.log
#lock file = /var/run/rsync.lock
[rsync_module_name2]
……
其中,个人认为,没项配置都可以既在全局配置,也可以在模块内部配置,其中如果模块内部如果有与全局相同的配置,
则模块内部的配置覆盖全局的配置。
然后编辑你上面指定的认证文件,我这里是: /etc/rsyncd.pas
#vi /etc/rsyncd.pas
格式为: username:password
rsync_user:rsyncofpass
安全起见,更改认证文件属性
#chmod 0600 /etc/rsyncd.pas
ok ,现在启动下试试看吧。
#/usr/local/rsync/bin/rsync –daemon
你也可以指定rsync运行的端口
#/usr/local/rsync/bin/rsync –daemon –port=873
如果要在启动时把服务起来,有几种不同的方法,比如:
加入inetd.conf
编辑/etc/services,加入rsync 873/tcp,指定rsync的服务端口是873
编辑/etc/inetd.conf,加入rsync stream tcp nowait root /bin/rsync rsync –daemon
加入rc.local
在各种操作系统中,rc文件存放位置不尽相同,可以修改使系统启动时rsync –daemon加载进去。
我这里是直接加入 /etc/rc.local
/usr/local/rsync/bin/rsync –daemon –port=873
873
就是rsync的默认端口号。
记得配置防火墙,允许你rsync端口的tcpudp协议。
873:tcp 873:udp
下面开始配置客户端
下面这个命令行中-vzrtopg里的vverbose
z
是压缩传输,
r
recursive
topg
都是保持文件原有属性如属主、时间的参数。
u
是只同步已经更新的文件,避免没有更新的文件被重复更新一次,不过要注意两者机器的时钟的同步。
–progress
是指显示出详细的进度情况,
–delete
是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。后面的rsync_user@192.168.0.2::rsync_module_name1中,之后的rsync_module_name1是模块名,也就是在/etc/rsyncd.conf中自定义的名称,rsync_user是指定模块中指定的可以同步的用户名。最后的/tmp是备份到本地的目录名。在这里面,还可以用-e ssh的参数建立起加密的连接。
可以用–password-file=/password/path/file来指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读。
#/usr/local/rsync/bin/rsync -vzrtopg –progress –deletersync_user@192.168.0.2::rsync_module_name1 /tmp/
Password:
或者你也可以制定password文件
由于需要系统crontab执行,所以这里采用读入密码文件的方式,
这个时候就成功了。
#vi /etc/rsyncd.pas
加入

注意,客户端的密码文件只需要密码,而不需要用户名!

更改文件权限:
#chmod 0600 /etc/rsyncd.pas
#/usr/local/rsync/bin/rsync -vzrtopgu –progress –delete –password-file=/etc/rsyncd.pasrsync_user@192.168.0.2::rsync_module_name1 /tmp/

实际操作:
服务端
uid = nobody (也可换成root
gid = nobody (也可换成root
hosts allow = 192.168.1.38,192.168.1.3,192.168.1.138
#hosts deny = 0.0.0.0/32
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
 
[www]
path = /www
ignore errors
read only = yes
list = no
auth users = backup
secrets file = /etc/backserver.pas
[snmp]
path = /usr/local/net-snmp
ignore errors
read only = yes
list = no
auth users = backup
secrets file = /etc/backserver.pas
建立backserver.pas
#echo “backup:backserver” > /etc/backserver.pas
服务器启动服务
/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
客户端运行的命令
/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::snmp /tmp
/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp
问题排除:
1
[root@bo bin]# /usr/local/rsync/bin/rsync -vazu -progress --delete backup@192.168.1.238::www /tmp --password-file=/etc/backserver.pas
rsync: Failed to exec ss: No such file or directory (2)
rsync error: error in IPC code (code 14) at pipe.c(86) [receiver=2.6.9]
rsync: writefd_unbuffered failed to write 12 bytes [receiver]: Broken pipe (32)
rsync error: error in rsync protocol data stream (code 12) at io.c(1122) [receiver=2.6.9]
[root@ht-store bin]#
以上错误可能是上面使用的参数前面的符号不正确。换成下面的就没有上面的错误了
[root@bo /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp
2
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete backup@192.168.1.238:www /tmp/ --password- file=/etc/backserver.pas
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
Permission denied (publickey,gssapi-with-mic,password).
rsync: connection unexpectedly closed (0 bytes received so far) [receiver]
rsync error: unexplained error (code 255) at io.c(453) [receiver=2.6.9]
[root@ht-store /]#
更改成
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas
backup@192.168.1.238::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
[root@ht-store /]#
3
[root@ht-store /]# /usr/local/rsync/bin/rsync -vazu --progress --delete --password-file=/etc/backserver.pas
backserver@192.168.1.238::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
检查一下用户名是否错误backserver 应该是backup
4
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzar --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(244) [receiver=2.6.9]
是双引号“::backup@192.168.1.238::www  尔不是单引号“:backup@192.168.1.238:www
5
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp
@ERROR: Unknown module 'www'
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
这是因为服务器端hosts allow 没有允许该主机访问
6
# chmod 600 rsyncd.conf rsyncd.secrets
-rw-------    1 root     root          795 Aug 23 06:21 rsyncd.conf
-rw-------    1 root     root           37 Aug 23 06:23 rsyncd.secrets
注意:这个安全配置很重要,假如不这样做客户机连接服务器时会提示:
 
@ERROR: auth failed on module smb_recover_files
rsync: connection unexpectedly closed (102 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(165)
服务器端日志将出现错误提示:
 
2005/08/23 06:32:01 [8388] secrets file must not be other-accessible (see strict modes option)
2005/08/23 06:32:01 [8388] continuing without secrets file
2005/08/23 06:32:01 [8388] auth failed on module smb_recover_files from documentserver (192.168.0.159)
 
安装Windows rsync安装程序cwRsync_2.0.10_Installer.zip
安装可以一路next
 
同步目录的时候执行
D:\LinuxBak\backup>rsync -vzrtopgu --progress --delete rsync_user@192.168.6.143::mysqldbc:\
The source and destination cannot both be remote.
rsync error: syntax or usage error (code 1) at main.c(1068) [receiver=2.6.9]
换一个备份目录就可以了。
 
在Windows下采取从文件读取密码方式出现的错误信息
D:inuxBak\bbsweb>rsync -vzrtopgu --progress --delete --password-file=D:\LinuxB
ak\bbsweb\pass.txt rsync_user@192.168.6.143::bbsweb ./
password file must not be other-accessible
continuing without password file
Password:
 
必需条件密码文件存放的位置一定要是ntfs分区,另一定要注意是下面的书写格式,--password-file=F:\pw一定要在后面指定
D:\LinuxBak\bbsweb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/bbsweb ./ --password-file=F:\pw
 
 
当执行以下命令,出现错误信息时
D:\LinuxBak\mysqldb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/mysqldb ./ --password-file=F:\pw
 
错误信息:
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081213-14:01.tar.g
z.3favI3" failed: No such file or directory (2)
      101974 100%  529.70kB/s    0:00:00 (xfer#11, to-check=1/15)
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081213-15:01.tar.g
z.xI3P0F" failed: No such file or directory (2)
      101975 100%  529.71kB/s    0:00:00 (xfer#12, to-check=0/15)
sent 352 bytes  received 1826513 bytes  3653730.00 bytes/sec
total size is 1833358  speedup is 1.00
rsync error: some files could not be transferred (code 23) at main.c(1385) [gene
rator=2.6.9]
 
这是因为在服务器端的备份文件dbvpopmail081213-15:01.tar.gz中有非法符号,可能造成Windows同步数据时无法识别文件名,尔导致问题。将服务器端文件改名为dbvpopmail0812131501.tar.gz 。这样在执行同样的命令就OK了! :) :) :)

本文转载自:http://future.blog.51cto.com/26959/83651

光石头

光石头

粉丝 317
博文 95
码字总数 20527
作品 2
郑州
技术主管
私信 提问
加载中

评论(1)

manbuheiniu1230
manbuheiniu1230
恩,不错,我正学这个工具呢,这个工具真的很牛
Rsync+Inotify-client 实现实时同步

在前面的博文实践记录之-Rsync镜像备份介绍了镜像备份工具Rsync的安装和使用.但在大数据时代,rsync的不足之处也暴露出来. 首先.rsync本身实现不了实时备份.靠系统的crontab实现的话也受...

乜波
2014/07/16
0
0
日常运维--rsync同步工具

rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而...

chencheng-linux
2018/07/19
41.1K
0
rsync+inotify实时同步

rsync+inotify实时同步 一、rsync与inotify介绍: 1、rsync (remote sync)是一款非常好的数据同步工具,能够通过对比同步双方的数据变动,实现增量同步,还可以通过LAN/WAN实现远程多台主机...

听雨x
2017/11/30
0
0
Rsync+inotify实现文件实时同步

数据备份、文件备份是运维、DBA等岗位最熟悉不过的话题,这里不介绍数据库的备份,简单介绍一下文件同步工具,这样的工具有很多,Windows环境下有Goodsync、FreeFileSync等,Linux下rsync、u...

tianya1993
2017/09/17
0
0
Linux服务器间文件实时同步的实现

使用场景 现有服务器A和服务器B,如果服务器A的指定目录(例如)中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如)。 数据镜像备份工具Rsync Rsync是...

开元中国2015
2018/12/07
34
0

没有更多内容

加载失败,请刷新页面

加载更多

【0911】linux软件包安装和卸载

【0911】linux软件包安装和卸载 一、安装软件包的三种方法 1、rpm工具:与win中的exe安装包类似,红帽子公司包管理系统 2、yum工具:属于一种用python开发的工具,支持自动的安装依赖的包 3、...

飞翔的竹蜻蜓
30分钟前
3
0
【外行学IT】手机网页自适应之rem和viewport

在写手机网页时,对于像素的问题会非常困惑,初学者很多时候会因为那么一个小点的问题解决不了,或者无法理解透彻就放弃了学习。 我在学习写手机网页时也困惑了许久,出现过下面的问题: 图片...

前端老手
42分钟前
5
0
三、Java设计模式之单一职责原则

定义:不要存在多于一个导致类变更的原因。 一个类、接口、方法只负责一项职责 优点:降低类的复杂度、提高类的可读性,提高系统的可维护性、降低变更引起的风险

东风破2019
49分钟前
4
0
搭建高可用MongoDB集群(分片)

搭建高可用MongoDB集群(分片) KaliArch关注1人评论28269人阅读2017-12-04 21:57:41 MongoDB基础请参考:https://blog.51cto.com/kaliarch/2044423 MongoDB(replica set)请参考:https:/...

linjin200
今天
6
0
Pandas DataFrame创建方法大全

Pandas是Python的数据分析利器,DataFrame是Pandas进行数据分析的基本结构,可以把DataFrame视为一个二维数据表,每一行都表示一个数据记录。本文将介绍创建Pandas DataFrame的6种方法。 创建...

汇智网教程
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部