rsync
第一章rsync基本概述
可以在不同主机之间进行同步，可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用rsync是一款开源的备份工具可以在不同主机之间进行同步，可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用
rsync 监听端口： 873
rsync 运行模式： C/S
第二章 rsync应用场景
2.1备份方式
方式：完全备份，增量备份,差异备份
2.2 备份架构
第三章 rsync三种模式
3.1本地模式
[root@backup ~]# echo 123 > test.txt
[root@backup ~]# cat test.txt
123
[root@backup ~]# rsync test.txt /tmp/
[root@backup ~]# cat /tmp/test.txt
123
3.2远程模式
拉取
rsync -az root@10.0.1.31:/root/test.txt /tmp
推送
rsync -az oldzhang.txt root@10.0.1.31:/tmp
拉取目录
rsync -avz root@172.16.1.31:/etc/hostname ./ #拉取远程文件
rsync -avz root@172.16.1.31:/root/ /backup/ #拉取远程目录下的所有文件
rsync -avz root@172.16.1.31:/root /backup/ #拉取远程目录以及目录下的所有文件
3.3后台服务
Rsync 借助 SSH 协议同步数据存在的缺陷
1.使用系统用户（不安全）
2.使用普通用户（会导致权限不足情况）
3.守护进程传输方式: rsync 自身非常重要的功能(不使用系统用户，更加安全)
3.4 命令参数
rsync #命令
[OPTION...] #选项
SRC... #远程主机模块(不是目录)
[USER@] #远程主机用户(虚拟用户)
HOST:: #远程主机地址
[DEST] #将远程主机模块备份至本地什么位置
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代 rsh 的 shell 程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--delete #让目标目录和源目录数据保持一致
第四章 后台服务模式——服务端配置
4.1安装修改配置文件
yum -install rsync -y
[root@backup /server/scripts]# cat /etc/rsyncd.conf
cat >/etc/rsyncd.conf <<EOF
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to Luz backup!
path = /backup
[data]
path = /data
EOF
4.2 配置文件介绍
uid = rsync # 运行进程的用户
gid = rsync # 运行进程的用户组
port = 873 # 监听端口
fake super = yes # 无需让 rsync 以 root 身份运行，允许接收文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd # 定义 rsync 服务用户连接认证密码文件路径
[backup] # 定义模块信息
comment = commit # 模块注释信息
path = /backup # 定义接收备份数据目录
4.3 创建用户和目录数据
groupadd rsync -g 666
useradd -M -s /sbin/nologin rsync -u 666 -g 666
mkdir /backup
chown -R rsync.rsync /backup
4.4 创建虚拟用户密码授权
echo "rsync_backup:123456" > /etc/rsync.passwd
chmod 600 /etc/rsync.passwd
4.5加入开机自启
systemctl start rsyncd
systemctl enable rsyncd
4.6 检查端口
netstat -lntup|grep 873
第五章 客户端配置
5.1 配置文件和密码
1.使用密码文件
yum install rsync -y
echo "123456 > /etc/rsync.passwd
chmod 600 /etc/rsync.pass
'''
2.使用rsync变量，脚本使用
export RSYNC_PASSWORD=123456
'''
第六章rsync实时同步
rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变，则立即调用rsync进行同步。
1、安装inotify(装在客户端)
[root@m01 ~]# yum -y install inotify-tools
2、inotify参数介绍
-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
%Xe 事件
%w 目录
%f 文件
-e 指定监控的事件
access 访问
modify 内容修改
attrib 属性修改
close_write 修改真实文件内容
open 打开
create 创建
delete 删除
umount 卸载
3、开始监控
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root
4、实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do
cd /root
rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done
第七章 实战
7.1.客户推送backup目录下所有内容到rsync服务端
export RSYNC_PASSWORD=123456
rsync -avz /backup/ rsync_backup@172.16.1.41::backup
7.2客户端拉取rsync服务端backup模块数据到客户端的backup目录
export RSYNC_PASSWORD=123456
rsync -avz rsync_backup@172.16.1.41::backup /backup/
7.3 rsync实现数据无差异同步
#拉取远端数据：远端与本地保持一致,远端没有本地有会被删除, 造成客户端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avz --delete rsync_backup@172.16.1.41::backup /data/
#推送数据至远端：本地与远端保持一致, 本地没有远端会被删除, 造成服务器端数据丢失
export RSYNC_PASSWORD=oldboy
rsync -avz --delete /data/ rsync_backup@172.16.1.41::backup
7.4rsync的limit限速
#企业案例: 某 DBA 使用 rsync 拉取备份数据时，由于文件过大导致内部交换机带宽被沾满，导致用户的请求无法响应
export RSYNC_PASSWORD=oldboy
rsync -avz --bwlimit=1 rsync_backup@172.16.1.41::backup /data/