sersync+rsync实时备份-白红宇

sersync+rsync实时备份

阅读量：6474 次

发布时间：2019-06-23

本文共 10511 字，大约阅读时间需要 35 分钟。

简介：

inotify的优点：

（1）监控文件系统时间的变化，通过同步工具实现实时同步数据

inotify的缺点：

（1）并发如果大于200个文件（10-100K），同步就会有延迟

（2）我们前面写的脚本，每次都是全部推送一次，但确实是增量备份额

也可以只同步变化的文件不变化的文件不理

（3）监控到事件后，调用rsync同步是单线程的（加&并发）。sersync是多线程同步的

既然有了inotify-tools，为什么还要开发sersync

sersync的功能多

（1）配置文件

（2）真正的守护进程socket

（3）可以对失败的文件定时重传

（4）第三方的http接口

(5) 默认是多线程的同步

sersync原理图解

本次实战的图解

实验配置

1.Rsync服务（S1和S2的配置，都一样），这个配置文件默认是不存在的（得新建）

[root@S2-SERVER ~]# vim /etc/rsyncd.conf

#QQ 31333741 blog:

##rsyncd.conf start##

uid = rsync

gid = rsync

use chroot = no

max connections = 200

timeout = 300

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 10.0.0.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

[www]

comment = "write by sanlang"

path = /data0/www/www

[bbs]

comment = "write by sanlang"

path = /data0/www/bbs

[blog]

comment = "write by sanlang"

path = /data0/www/blog

"/etc/rsyncd.conf" 27L, 604C 已写入

[root@S2-SERVER ~]#

Rsync服务（S1和S2的配置，都一样）添加用户
[root@S2-SERVER ~]# useradd rsync -s /sbin/nologin -M
3.修改/或者密码文件（默认是不存的）
[root@S2-SERVER ~]# vim /etc/rsync.password
rsync_backup:oldboy
[root@S2-SERVER ~]# cat /etc/rsync.password
rsync_backup:oldboy
[root@S2-SERVER ~]# chmod 600 /etc/rsync.password
[root@S2-SERVER ~]#

Rsync服务（S1和S2的配置，都一样）创建目录，并把目录赋予相应的权限
[root@S2-SERVER ~]# mkdir /data0/www/www -p
[root@S2-SERVER ~]# mkdir -p /data0/www/bbs
[root@S2-SERVER ~]# mkdir -p /data0/www/blog
[root@S2-SERVER ~]# chown -R rsync.rsync /data0
5.以守护进程的方式启动rsync
[root@S1-SERVER ~]# rsync --daemon
[root@S1-SERVER ~]# echo "/usr/bin/rsync --daemon">>/etc/rc.local
可能会出错错误：
[root@S1-SERVER ~]# rsync --daemon
[root@S1-SERVER ~]# failed to create pid file /var/run/rsyncd.pid: File exists
解决方法：
[root@S1-SERVER ~]# rm -f /var/run/rsyncd.pid
6.Sersync服务（M）端的配置（默认文件不存在自己指定）
[root@M-SERVER ~]# cat /etc/rsync.password
oldboy
[root@M-SERVER ~]# chmod 600 /etc/rsync.password
[root@M-SERVER ~]# ll /etc/rsync.password
-rw-------. 1 root root 7 4月 22 16:18 /etc/rsync.password
[root@M-SERVER ~]#
7.测试（M-SERVER 上执行OK）
[root@M-SERVER ~]# cd /backup
[root@M-SERVER backup]# ls
sanlang01.txt sanlang03.txt sanlang05.txt sanlang07.txt sanlang09.txt
sanlang02.txt sanlang04.txt sanlang06.txt sanlang08.txt sanlang10.txt
[root@M-SERVER backup]# cd
[root@M-SERVER ~]# rsync -avz /backup/ rsync_backup@10.0.0.182::www/ --password-file=/etc/rsync.password
sending incremental file list
./
sanlang01.txt
sanlang02.txt
sanlang03.txt
sanlang04.txt
sanlang05.txt
sanlang06.txt
sanlang07.txt
sanlang08.txt
sanlang09.txt
sanlang10.txt
sent 508 bytes received 201 bytes 1418.00 bytes/sec
total size is 0 speedup is 0.00
[root@M-SERVER ~]#
6.Sersync服务（M）端的配置（可以不加，主要是把安装包放在自己的家目录下）
[root@M-SERVER ~]# useradd oldboy
[root@M-SERVER ~]# passwd oldboy
更改用户 oldboy 的密码。
新的密码：
无效的密码：过于简单化/系统化
无效的密码：过于简单
重新输入新的密码：
passwd：所有的身份验证令牌已经成功更新。
[root@M-SERVER ~]#
新建一个目录用于sersync的安装
[root@M-SERVER ~]# mkdir -p /home/oldboy/tools
[root@M-SERVER ~]#
7.Sersync服务（M）端开始安装sersync
[root@M-SERVER tools]# rz
rz waiting to receive.
zmodem trl+C
[root@M-SERVER tools]# rz
rz waiting to receive.
zmodem trl+C
100% 710 KB 710 KB/s 00:00:01 0 Errorsary_stable_final.tar.gz...
[root@M-SERVER tools]# ls
sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@M-SERVER tools]#
8.Sersync服务（M）端.解压文件（解压到/usr/local/ 下面）
[root@M-SERVER tools]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@M-SERVER tools]# cd /usr/local/
[root@M-SERVER local]# ls
bin etc games GNU-Linux-x86 include lib lib64 libexec sbin share src
[root@M-SERVER local]#
9.Sersync服务（M）端.改名解压文件的名称
[root@M-SERVER local]# mv GNU-Linux-x86 sersync
[root@M-SERVER local]#
[root@M-SERVER local]# tree sersync/
sersync/
├── confxml.xml
└── sersync2
0 directories, 2 files
[root@M-SERVER local]#
10.规范安装包（在 /usr/local/sersync 下操作）
[root@M-SERVER sersync]# mkdir conf bin logs
[root@M-SERVER sersync]# mv confxml.xml conf/
[root@M-SERVER sersync]# mv sersync2 bin/sersync
[root@M-SERVER local]# tree sersync/
sersync/
├── bin
│ └── sersync
├── conf
│ └── confxml.xml
└── logs
3 directories, 2 files
[root@M-SERVER local]#
11.备份配置文件并且配置
[root@M-SERVER sersync]# cd /usr/local/sersync/conf/
[root@M-SERVER conf]# cp confxml.xml confxml.xml.org
[root@M-SERVER conf]# ls
confxml.xml confxml.xml.org
[root@M-SERVER conf]#
①编辑confxml.xml
24 <localpath watch="/opt/tongbu">
25 <remote ip="127.0.0.1" name="tongbu1"/>
26 
27 
28 </localpath>
改成：
24 <localpath watch="/data0/www/www"> #data/www/www 代表内地目录
25 <remote ip="10.0.0.182" name="www"/> # www 这个是远程服务器的模块
26 <remote ip="10.0.0.183" name="www"/> # 10.0.0.182/183 是远程的Ip地址
27 </localpath>
28
29 <localpath watch="/data0/www/bbs">
30 <remote ip="10.0.0.182" name="bbs"/>
31 <remote ip="10.0.0.183" name="bbs"/>
32 </localpath>
33
34 <localpath watch="/data0/www/blog">
35 <remote ip="10.0.0.182" name="blog"/>
36 <remote ip="10.0.0.183" name="blog"/>
37 </localpath>
②修改认证的部分
<rsync>
40 <commonParams params="-artuz"/>
41 <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
42 <userDefinedPort start="false" port="874"/>
43 <timeout start="false" time="100"/>
44 <ssh start="false"/>
45 </rsync>
改成：
39 <rsync>
40 <commonParams params="-artuz"/>
41 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
42 <userDefinedPort start="false" port="874"/>
43 <timeout start="true" time="100"/>
44 <ssh start="false"/>
45 </rsync>
③修fail队列日志
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/>
改成（这个目录是自己提前创建好的）
<failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/>
最后保存配置文件
12.配置sersync的命令
[root@M-SERVER conf]# echo "export PATH=$PATH:/usr/local/sersync/bin">>/etc/profile
[root@M-SERVER conf]# tail -n 1 /etc/profile
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/sersync/bin
[root@M-SERVER conf]# which rersync
/usr/bin/which: no rersync in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin)
[root@M-SERVER conf]# source /etc/profile
[root@M-SERVER conf]# which sersync
/usr/local/sersync/bin/sersync
[root@M-SERVER conf]#
13.启动命令
[root@M-SERVER ~]# sersync -r -d -o /usr/local/sersync/conf/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -r rsync all the local files to the remote servers before the sersync work
option: -d run as a daemon
option: -o config xml name： /usr/local/sersync/conf/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost host port: 8008
daemon start，sersync run behind the console
use rsync password-file :
user is rsync_backup
passwordfile is /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 32 = 12(Thread pool nums) + 20(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate

rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data0/www/www && rsync -artuz -R --delete ./ --timeout=100 rsync_backup@10.0.0.182::www --password-file=/etc/rsync.password >/dev/null 2>&1
run the sersync:
watch path is: /data0/www/www
[root@M-SERVER ~]#
-r 客户端和服务端可能第一次数据不一样开启先做一次同步
-d 在后台以守护进程的方式启动
-o 指定xml 文件
14.测试以后发现，在第11步骤写的模块（localpath ）只识别第一个
这个时候进行多实例传送，每个推送数据的目录给一个配置文件下面三个文件，每个文件都有自己的单独日志和<localpath watch="/data0/www/www"> 只有一个模块，这几个文件可以通过拷贝生成，修改后保存
[root@M-SERVER conf]# ls
bbs_confxml.xml blog_confxml.xml tmp www_confxml.xml
[root@M-SERVER conf]#
以blog_confxml.xml 为例
<localpath watch="/data0/www/bbs">
<remote ip="10.0.0.182" name="bbs"/>
<remote ip="10.0.0.183" name="bbs"/>
</localpath>
<failLog path="/usr/local/sersync/logs/bbs_rsync_fail_log.sh" timeToExecute="60"/>
其余的密码文件如果自己想修该的话在自行修改

15启动三个配置文件

先杀掉原来配置

[root@M-SERVER conf]# ps -ef |grep rsync

root 2147 1 0 17:30 ? 00:00:00 sersync -r -d -o /usr/local/sersync/conf/confxml.xml

root 2289 2232 0 17:53 pts/1 00:00:00 grep rsync

[root@M-SERVER conf]# pkill sersync

[root@M-SERVER conf]# ps -ef |grep rsync

root 2292 2232 0 17:53 pts/1 00:00:00 grep rsync

[root@M-SERVER conf]#

多实例启动

sersync -r -d -o /usr/local/sersync/conf/www_confxml.xml

sersync -r -d -o /usr/local/sersync/conf/bbs_confxml.xml

sersync -r -d -o /usr/local/sersync/conf/blog_confxml.xml

检查：可以查出总共起了三个进程，每个进行都对应一个文件

[root@M-SERVER conf]# ps -ef |grep sersync

root 2300 1 0 17:57 ? 00:00:00 sersync -r -d -o /usr/local/sersync/conf/www_confxml.xml

root 2320 1 0 17:57 ? 00:00:00 sersync -r -d -o /usr/local/sersync/conf/bbs_confxml.xml

root 2340 1 0 17:58 ? 00:00:00 sersync -r -d -o /usr/local/sersync/conf/blog_confxml.xml

root 2411 2232 0 18:00 pts/1 00:00:00 grep sersync

[root@M-SERVER conf]#

最后主服务器Sersync服务（M）端可能也会重启

所以：防止重启（吧配置文件放在/etc/rc.local中，这个时候可以不加-r文件比较大，没有必要只要第一次即可）

[root@M-SERVER tmp]# cat >>/etc/rc.local<<EOF

sersync -d -o /usr/local/sersync/conf/www_confxml.xml
sersync -d -o /usr/local/sersync/conf/bbs_confxml.xml
sersync -d -o /usr/local/sersync/conf/blog_confxml.xml
EOF
[root@M-SERVER tmp]#
测试（Sersync服务（M）端）（测试成功）
[root@M-SERVER ~]# cd /data0
[root@M-SERVER data0]# ls
www
[root@M-SERVER data0]# cd www
[root@M-SERVER www]# ls
bbs blog www
[root@M-SERVER www]# cd bbs
[root@M-SERVER bbs]# touch succes.log
[root@M-SERVER bbs]# cd ..
[root@M-SERVER www]# cd blog/
[root@M-SERVER blog]# touch success.log
[root@M-SERVER blog]# cd ..
[root@M-SERVER www]# cd www
[root@M-SERVER www]# touch success.log
[root@M-SERVER www]#
S2-SERVER端查看
[root@S2-SERVER ~]# tree /data0
/data0
└── www
├── bbs
│ ├── bbs.log
│ ├── bbs.txt
│ ├── hello
│ ├── succes.log
│ └── world
├── blog
│ ├── blog.log
│ ├── blog.txt
│ └── success.log
└── www
├── success.log
├── www.log
└── www.txt
4 directories, 11 files
[root@S2-SERVER ~]#
经验
2710服务器千兆网
每秒可以同步10-100K 能同步 40-50 张
大量文件同步也是受限制的
sersync的参数
-r 开启第一次进行一次完全的同步，保持一致
-o 指定confxml.xml 的文件
-n 指定默认线程池的线程总数，如果不指定默认启动线程池的数量是10，CPU使用过高，可以通过这个参数进行调整
-d 参数为后台启动
-m 不同步，只运行插件
./sersync --help