时间戳

首页 > 技术文章 > rsync 与 inotify 的使用 & 实现实时同步备份

rsync 与 inotify 的使用 & 实现实时同步备份

elijah-li 2021-12-29 19:55 原文

今日内容

  • rsync

内容详细

上一篇内容问题

1、yum源问题
2、VPN链接正常，但是没办法通过172
3、VPN链接时，出现了DNS错误
4、掩码不对
5、openvpn开启错误

复制的命令

1、cp

本机复制：
	只能在本地计算机中复制目录

2、scp

# ssh 自带的命令
远程复制：
	可以上传文件到远程服务器，有两种复制方式
	1、推(本地上传到远程服务器)：
		scp <文件路径> <登录用户>@<ip>:<目标路径>

		[root@m01 ~]# scp 1.txt root@172.16.1.41:/opt
         root@172.16.1.41's password: 
         1.txt                                 					 36%  109MB  27.6MB/s   00:06 ETA

	2、拉(把远程服务器文件下载到本地)：
		scp root@192.168.15.41:/opt/1.txt 2.txt

        [root@m01 ~]# scp root@172.16.1.41:/opt/1.txt 2.txt
        root@172.16.1.41's password: 
        1.txt                                                               72%  217MB  73.1MB/s   00:01 ETA

缺点 ：  只能全量复制（数据要一次全部传输完）
		只支持全量复制  1TB   1GB

3、rsync

支持增量复制（可以进行断点续传）
下文详细介绍
	用于全量备份、增量备份

rsync 介绍

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S   client/server

rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

rsync 特性

1、支持拷贝特殊文件，如连接文件、设备等。
2、可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

3、可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。

4、可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
5、可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
6、可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
7、支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

rsync 的传输方式

push 推：
客户端将数据从本地推送至服务端
 
pull 拉：
客户端将数据从服务端拉取到本地

rsync 的传输模式

1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）

2.远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份

3.守护进程方式（客户端和服务端）

rsync 的使用（参数）

1、普通参数

-a

#归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
	rsync -avzP ./* root@172.16.1.41:/opt

-v

# 详细模式输出, 打印速率, 文件数量等
	 rsync -v init.sh root@172.16.1.41:/opt

[root@m01 ~]# rsync -v init.sh root@172.16.1.41:/opt
root@172.16.1.41's password: 
init.sh

sent 4,630 bytes  received 35 bytes  1,866.00 bytes/sec
total size is 4,542  speedup is 0.97

-z

#传输时进行压缩以提高效率
	[root@m01 ~]# rsync -vz ./2.txt  root@172.16.1.41:/opt/

-r

#递归传输目录及子目录，即目录下得所有目录都同样传输。
	[root@m01 ~]# rsync -vzr ./a  root@172.16.1.41:/opt/

-t

#保持文件时间信息
	[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt  root@172.16.1.41:/opt/

-o

#保持文件属主信息
	[root@m01 ~]# rsync -vzrto ./a/b/c/2.txt  root@172.16.1.41:/opt/

-g

#保持文件属组信息
[root@m01 ~]# rsync -vzrtgo  ./a/b/c/2.txt  root@172.16.1.41:/opt/

-p

#保持文件权限
	[root@m01 ~]# rsync -vzrtgop  ./a/b/c/2.txt  root@172.16.1.41:/opt/

-l

#保留软连接

-P

#显示同步的过程及传输时的进度等信息

-D

#保持设备文件信息

-L

#保留软连接指向的目标文件

-e

#使用的信道协议,指定替代rsh的shell程序

2、重要参数

--append

# 指定文件接着上次传输中断处继续传输
	rsync -avzP --append-verify -exclude=2 --bwlimit=10 ./* root@172.16.1.41:/opt

[root@m01 ~]# rsync -avzP --append-verify --exclude=2 --bwlimit=10 ./* root@172.16.1.41:/opt
root@172.16.1.41's password: 
sending incremental file list
1.txt
    152,174,592  48%    9.87MB/s    0:00:16  ^CKilled by signal 2.

rsync error: unexplained error (code 255) at rsync.c(638) [sender=3.1.2]
rsync: [sender] write error: Broken pipe (32)
[root@m01 ~]# rsync -avzP --append-verify --exclude=2 --bwlimit=10 ./* root@172.16.1.41:/opt
root@172.16.1.41's password: 
sending incremental file list
1.txt
    173,304,020  55%   71.73MB/s    0:00:01

--append-verify

# 使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件）

--exclude=PATTERN

# 指定排除不需要传输的文件

--exclude-from=file

# 按照文件指定内容排除

--bwlimit=100

# 限速传输（单位：MB）

--delete

 # 让目标目录和源目录数据保持一致

--password-file=xxx

# 使用密码文件

--port

# 指定端口传输

rsync 守护进程模式

概念

正常我们备份数据，都需要自己手动使用备份命令把本地数据上传到备份服务器中
# 守护进程模式 
	就是在本地机产生文件数据之后，可以实时同步到备份服务器中，无需手动操作

前提 ： 在服务端（存放备份服务器 backup）和客户端（需要备份数据的服务器）都要装上 rysnc 软件

系统用户 ： rsync（启动 rsync 软件的系统用户）

虚拟用户 ： rsync （同步数据时使用的用户）

1、服务端（ backup ）

1、安装 rsync 软件

[root@backup ~]# yum install -y rsync

2、修改 rsync 的配置文件（rsyncd.conf）

uid = rsync		# 系统用户
gid = rsync		# 用户组
port = 873		# 默认监听端口
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup				# 虚拟用户
secrets file = /etc/rsync.passwd		# 虚拟用户的密码文件
log file = /var/log/rsyncd.log
#####################################
[backup]							# 备份路径
comment = welcome to backup!
path = /backup
[linux]
comment = welcome to linux!
path=/tmp/linux

3、创建系统用户组 和 系统用户（ rsync ）

	groupadd rsync -g 666
	useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r		(-s 指定解析器 /sbin/nologin)

4、创建虚拟用户密码文件

# 虚拟用户的密码文件存放密码格式 ： 虚拟用户名:密码
	echo "rsync_backup:123456" > /etc/rsync.passwd

5、密码文件授权（ 600 ）

	chmod 600 /etc/rsync.passwd

6、创建备份目录

	mkdir /backup
	mkdir /tmp/linux

7、备份目录授权（修改目录的所属主和所属组，让 rsync 用户可以使用这两个目录文件）

	chown rsync.rsync /backup
    chown rsync.rsync /tmp/linux

8、关闭防火墙和selinux

	systemctl disable --now firewalld
	setenforce 0

9、启动 rsync 服务

	systemctl start rsyncd

# 注意是启动 rsyncd

2、客户端（跳板机中，需要备份数据的服务器）

方法一 : 自己输入密码

	rsync -avzP ./* rsync_backup@172.16.1.41::backup
	# 注意 : 备份模块 backup,模块就是指定备份的路径

	rsync_backup ： 虚拟用户，只在数据传输时使用
	172.16.1.41  ： backup服务端的IP
	backup       ： 模块名称

# 请注意 ： 密码已经改成 123456 ,不要输错密码

[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
Password: 
sending incremental file list
1.txt
    314,572,800 100%   99.00MB/s    0:00:03 (xfr#1, to-chk=9/10)
2 -> a/b/c/2.txt
2.txt
    314,572,800 100%   95.66MB/s    0:00:03 (xfr#2, to-chk=7/10)

方法二 ： 设置密码文件，运行时读取

1、编写密码文件
    [root@backup opt]# echo "123456" > /etc/rsync.passwd

2、授权
    [root@m01 ~]# chmod 600 /etc/rsync.passwd

3、连接（需要指定密码文件）
	--password-file=/etc/rsync.passwd
	rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
	
[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
sending incremental file list
1.txt
    314,572,800 100%  114.58MB/s    0:00:02 (xfr#1, to-chk=9/10)
2 -> a/b/c/2.txt
2.txt
    147,881,984  47%   70.55MB/s    0:00:02

方法三 ： 添加环境变量

1、定义环境变量
	export RSYNC_PASSWORD=123456
2、同步
	rsync -avzP ./* rsync_backup@172.16.1.41::linux

[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux
sending incremental file list
1.txt
    314,572,800 100%  117.04MB/s    0:00:02 (xfr#1, to-chk=9/10)
2 -> a/b/c/2.txt
2.txt
    164,986,880  52%   78.71MB/s    0:00:01

rsync 实时同步

inotify 的使用

	1、rsync 不支持实时同步
	2、一般用 inotify 软件来监控文件的实时变化
	3、监控到文件发生变化，立刻调用 rsync 传输数据，实现实时同步

实现实时同步步骤

1、安装 inotify （装在客户端）

[root@m01 ~]# yum install inotify-tools -y

2、inotify 参数介绍

-m	持续监控
-r	递归
-q	静默，仅打印时间信息
--timefmt	指定输出时间格式
--format	指定事件输出格式
	%Xe 时间
	%w  目录
	%f  文件
-e
	access 访问
	modify 内容修改
	attrib 属性修改
	close_write 修改真实文件内容
	open 打开
	create 创建
	delete 删除
	umount 卸载

3、开始监控

	/usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

[root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

image

4、实时监控并同步

# 读取监控的信息，循环调用 rsync 传输数据即可进行同步
--delete	 # 让目标目录和源目录数据保持一致

	/usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
	cd /root
	rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup

# 不要忘记写 ./* 和 done

[root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
> cd /root
> rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
> done

image

推荐阅读