|
一、Lsyncd简介
Lsyncd是2012开始发版的一个开源同步软件，其功能跟Inotify和Sersync相同，属于实时同步工具，但是Lsyncd功能更加强大，Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具，
采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，而不会像inotify+rsync那要全量扫描再同步，从而达到实时的效果。
Lsyncd最强大之处在于简单高效传输海量数据并且Lsyncd支持多种工作模式，可以一键yum安装，并且以系统服务运行。
Lsyncd监视本地目录树事件监视接口（inotify或fsevents）。它聚合和组合事件几秒钟，然后生成一个（或多个）进程来同步更改。
默认情况下，这是rsync。因此，Lsyncd是一个轻量级的实时镜像解决方案，它相对容易安装，不需要新的文件系统或块设备，并且不会影响本地文件系统的性能。
Rsync+ssh是一种高级操作配置，它使用ssh直接在目标上执行文件和目录移动，而不是通过线路重新传输移动目标。
细粒度定制可以通过配置文件实现。自定义操作配置甚至可以在层叠层中从头开始编写，从shell脚本到用Lua语言编写的代码。
这样就可以实现简单、强大、灵活的配置。详见说明书。
许可证：GPLv2或任何更高版本的GPL。
最新版https://github.com/axkibe/lsyncd/releases/tag/release-2.2.3
二、安装配置
1、环境要求
centos7.2以上
lsyncd2.2.1要求在所有源和目标计算机上rsync>=3.1。
配置epel yum源：
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum makecache
2、yum安装Lsyncd
[root@host-file-1 ~]# yum install lsyncd
3、写入Lsyncd配置文件/etc/lsyncd.conf
settings {
logfile = "/var/log/lsyncd/lsyncd.log",
statusFile = "/var/log/lsyncd/lsyncd.status",
inotifyMode = "CloseWrite",
-- maxProcesses = 8,
}
sync {
default.rsyncssh,
source = "/CmsPro/UCMSServer/tomcat/webapps",
host = "172.18.0.26",
targetdir = "/storage/websites/webapps",
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
delete = running,
maxDelays = 5,
delay = 0,
init = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true
},
ssh = {
port = 10064
}
}
sync {
default.rsyncssh,
source = "/CmsPro/UCMSServer/repo",
host = "172.18.0.26",
targetdir = "/storage/cmsresources",
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
delete = running,
maxDelays = 5,
delay = 0,
init = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true
},
ssh = {
port = 10064
}
}
sync {
default.rsync,
source = "/CmsPro/UCMSServer/tomcat/webapps",
target = "172.18.0.26::webapps",
delete = running,
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
init = false,
delay = 1,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
-- password_file = "/etc/rsync.passwd",
-- 默认端口非873需指定rsync的端口、限速参数(根据实际情况)
_extra = {"--port=10065","--bwlimit=200000"}
}
}
Lsyncd配置文件参数说明
标注：lsyncd.conf可以有多个sync，各自的模式，互不影响
settings 部分 关于lsyncd工具自身的一些选项设置
–: 注释, 因为是lua 语言,所以 –是注释
logfile: 指定lsyncd工具本身运行所产生的日志文件存放位置
statusFile: 定义lsyncd监控目录状态文件的存放位置
statusInterval: 隔多少秒记录一次被监控目录的状态
nodaemon=true: 默认是不启用守护模式的
inotifyMode: 指定要监控的事件,如,CloseWrite,Modify,CloseWrite or Modify, 默认是CloseWrite
maxProcesses: 指定同步时进程的最大个数
maxDelays: 当事件被命中累计多少次后才进行一次同步
logfile 定义日志文件
stausFile 定义状态文件
nodaemon=true 表示不启用守护模式，默认
statusInterval 将lsyncd的状态写入上面的statusFile的间隔，默认10秒
inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays 累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
sync 部分
里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式：
default.rsync ：本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct ：本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh ：同步到远程主机目录，rsync的ssh模式，需要使用key来认证
source 同步的源目录，使用绝对路径。
target 定义目的地址.对应不同的模式有几种写法：
/tmp/dest ：本地目录同步，可用于direct和rsync模式
172.29.88.223:/tmp/dest ：同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd –delete –include-from=- –exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步
172.29.88.223::module ：同步到远程服务器目录，用于rsync模式
三种模式的示例会在后面给出。
init 这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true
delay 累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）
excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = “/etc/lsyncd.exclude”，如果是简单的排除，可以使用exclude = LIST。
这里的排除规则写法与原生rsync有点不同，更为简单：
监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo
如果规则以斜线/开头，则从头开始要匹配全部
如果规则以/结尾，则要匹配监控路径的末尾
?匹配任何字符，但不包括/
*匹配0或多个字符，但不包括/
**匹配0或多个字符，可以是/
delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值，请参考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。
rsync
（提示一下，delete和exclude本来都是rsync的选项，上面是配置在sync中的，我想这样做的原因是为了减少rsync的开销）
bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
perms 默认保留文件权限。
其它rsync的选项
其它还有rsyncssh模式独有的配置项，如host、targetdir、rsync_path、password_file，见后文示例。rsyncOps={“-avz”,”–delete”}这样的写法在2.1.*版本已经不支持。
lsyncd.conf可以有多个sync，各自的source，各自的target，各自的模式，互不影响。
4、启动Lsyncd并设置开机自启动
[root@host-file-1 ~]# mkdir /etc/rsyncd.d/
[root@host-file-1 ~]# vim /etc/rsyncd.d/rsync_exclude.lst
/11/
[root@host-file-1 webapps]# service lsyncd start
Redirecting to /bin/systemctl start lsyncd.service
[root@host-file-1 webapps]# service lsyncd status
Redirecting to /bin/systemctl status lsyncd.service
[root@host-file-1 webapps]#systemctl enable lsyncd
[root@host-file-1 ~]# tail -f /var/log/lsyncd/lsyncd.log
Wed Jun 10 23:32:24 2020 Normal: --- Startup ---
Wed Jun 10 23:42:09 2020 Normal: recursive startup rsync: /CmsPro/UCMSServer/tomcat/webapps/ -> 172.18.0.26:/storage/websites/webapps/ excluding
/CmsPro/UCMSServer/tomcat/webapps/11/
三、测试
1、测试目标端不存在的目录新增文件
源端
[root@host-cms-1 webapps]# cd scdnr/
[root@host-cms-1 scdnr]# ls
c102914 c102937 c102951 index index.shtml ldft
目标端
[root@localhost websites]# ls scdnr/
ls: cannot access scdnr/: No such file or directory
[root@localhost websites]# ls scdnr/
addd.txt
Thu Oct 22 19:22:00 2020 Normal: Finished a list after exitcode: 0
Thu Oct 22 19:23:32 2020 Normal: Calling rsync with filter-list of new/modified files/dirs
/scdnr/addd.txt
/scdnr/
/
Thu Oct 22 19:23:32 2020 Normal: Finished a list after exitcode: 0
增加文件
[root@host-cms-1 scdnr]# date >>addd.txt
[root@host-cms-1 scdnr]#
只是增加新增的文件，不会整个目录增加
[root@localhost websites]# ls scdnr/
ls: cannot access scdnr/: No such file or directory
[root@localhost websites]# ls scdnr/
addd.txt
2、删除文件测试
[root@localhost websites]# ls scgat
ls: cannot access scgat: No such file or directory
[root@host-cms-1 webapps]# ls scgat/uploadfiles/images/W020200922328063310747.jpg
scgat/uploadfiles/images/W020200922328063310747.jpg
[root@host-cms-1 webapps]# rm scgat/uploadfiles/images/W020200922328063310747.jpg
rm: remove regular file ‘scgat/uploadfiles/images/W020200922328063310747.jpg’? y
Thu Oct 22 19:27:18 2020 Normal: Calling rsync with filter-list of new/modified files/dirs
/scgat/uploadfiles/images/W020200922328063310747.jpg
/scgat/uploadfiles/images/
/scgat/uploadfiles/
/scgat/
/
#只是同步了目录结构，不会同步其它文件
[root@localhost websites]# ls scgat
uploadfiles
[root@localhost websites]# ls scgat/uploadfiles/
images
[root@localhost websites]# ls scgat/uploadfiles/images
|