潇湘夜雨移动版

一、NFS共享服务

1.安装nfs服务器：

   yum  install  nfs-utils -y

2.配置nfs服务器：

   vim /etc/exports

  /backup 172.18.109.192/26(rw,sync,all_squash)

 一般这配置就可以

rw：read-write，可读写；    注意，仅仅这里设置成读写客户端还是不能正常写入，还要正确地设置共享目录的权限，参考问题5  

ro：read-only，只读；  

sync：文件同时写入硬盘和内存；  

async：文件暂存于内存，而不是直接写入内存；  

no_root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，也拥有root权限。显然开启这项是不安全的。  

root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，拥有匿名用户权限，通常他将使用nobody或nfsnobody身份；  

all_squash：不论NFS客户端连接服务端时使用什么用户，对服务端分享的目录来说都是拥有匿名用户权限；  

anonuid：匿名用户的UID值，通常是nobody或nfsnobody，可以在此处自行设定；  

anongid：匿名用户的GID值。

 

[root@hadoop-master ~]# service nfs start

启动 NFS 服务： exportfs: No options for /backup 172.18.109.0.*（rw,sync,all_squash）: suggest 172.18.109.0.*（rw,sync,all_squash）(sync) to avoid warning

  [确定]

关掉 NFS 配额：                                            [确定]

启动 NFS mountd：                                          [确定]

启动 NFS 守护进程：                                        [确定]

正在启动 RPC idmapd：                                      [确定]

[root@hadoop-master ~]# netstat -tnlp |grep 2049

tcp        0      0 0.0.0.0:2049                0.0.0.0:*                   LISTEN      -                   

tcp        0      0 :::2049                     :::*                        LISTEN      -  

3.查看nfs服务器和客户端配置参数：

   cat /var/lib/nfs/etab  （服务端）

   cat /proc/mounts    （客户端查看挂载情况，卡住的情况必须用这个命令查看，不要用df -h）

   showmount -e 172.18.109.235 #查看nfs共享目录

Export list for 172.18.109.235:

/backup 172.18.109.192/26

 

 

4.客户端挂载测试

 mount -t nfs 172.18.109.235:/backup /share/

[root@hadoop2 ~]# mount

172.18.109.235:/backup on /share type nfs (rw,vers=4,addr=172.18.109.235,clientaddr=172.18.109.237)

此时客户端只能读，不能再共享目录中写。

 

5.客户端的写权限

 chown -R nfsnobody.nfsnobody /backup/

 

二、RSYNC共享服务

1.rsync简介

比其cp、tar备份的方法，rsync的优点是，安全性高、备份迅速、支持增量备份。只能做对实时性要求不高

的数据备份，例如：备份文件服务到远端从服务器、在本地磁盘上做数据镜像等  增量备份：就是rsync同步

数据时，需要扫描所有文件后进行比对，进行差量传输。但是对于大量文件达到千万量级别时，扫描所有文

件是非常耗时的。 如果发生改变的只是其中的一小部分的话，这是非常低效的方式。  

rsync 不能实时的去监测，同步数据，虽然它可以通过 linux 守护进程的方式进行触发同步，两次触发动作一

定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。  

rsync 是通过 crontab 守护进程进行触发，同步数据会有差异

 

2.工作模式

rsync命令的工作模式有四种：

  1、shell模式，也称为本地模式，速度要比cp快

  2、远程shell模式，其可以借助于ssh协议承载其数据传输过程

  3、列表模式，其工作方式与ls相似，仅列出源的内容：-nv

  4、服务器模式，此时，rsync可以工作为守护进程，能够接收客户端的数据传输请求，在使用时可以在客

  户端使用rsync命令发送给守护进程，也可以向服务器主获取文件。

  

3.rsync的服务器模式的配置文件/etc/rsyncd.conf：

  查看帮助 man rsyncd.conf

 

#rsync.conf start###

uid = nfsnobody

gid = nfsnobody

use chroot = no

max connections = 2000

timeout = 600

#strict modes = yes

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts deny = 172.18.109.237

hosts allow = 172.18.109.0/24

auth users = rsync_backup        #虚拟用户

secrets file = /etc/rsync.password

########################################

[backup]

comment = linux1 backup  #欢迎语

path = /backup

 

 

 

echo "rsync_backup:123456" > /etc/rsync.password  #创建密码文件

chmod 600 /etc/rsync.password    #修改密码文件的权限

mkdir /backup #创建配置文件中的共享目录

chown -R nfsnobody.nfsnobody /backup/ #设置共享目录的用户权限，一定要设置正确，否则传输会报错。

 

4.启动rsync的服务端：

   rsync --daemon

   

5.rsync客户端的配置：

  echo "123456" >/etc/rsync.password  #创建客户端密码文件（只要写密码不要用户）

  chmod 600 /etc/rsync.password  

  [root@hadoop1 ~]#  rsync -avz --delete /rsync1/ rsync_backup@172.18.109.235::backup --password-file=/etc/rsync.password (将rsync1目录中的文件推送到服务端并删除服务端多余的文件)

sending incremental file list

deleting test.txt

sent 43 bytes  received 8 bytes  102.00 bytes/sec

total size is 2691  speedup is 52.76

 

6.rsync命令用法

rsync命令的选项：

  -n:如果担心命令执行不正确，一同步复制，可能这个复制的后果是致命的，那后果可就严重了，这里我们可以加-n先测试一下

  -v: --verbose,详细输出模式、显示详细过程的

  -q: --quiet,静默模式，尽可能输出少的信息

  -c: --checksum,可以对传输的文件进行较验的，强制对文件传输进行校验

  -r: --recursive,递归复制

  -a: --archives,归档，复制时可以保存原有的属主属主等属性信息，甚至包括一点额外的属性、如访问控制列表

  -p: --perms,保存文件的权限

  -t: --times,保留文件的时间戳

  -l: --links，保留文件的符号链接

  -g: --group,保留文件的属组

  -o: --owner,保留文件的属主

  -D: --devices,保留设备文件  

  -e SSH:远程复制时，表示使用ssh协议作承载

  -z:基于网络时使用，对文件压缩后传输

  --progress:显示压缩进度条的

  --stats:显示如何执行压缩和传输的，也就是显示传输状态的  

注意：rsync命令使用中，如果源参数的末尾有斜线，就会复制指定目录内容，而不复制目录本身;没有斜线，则会复制目录本身，因此有如下命令：

  # rsync -r /mydata/data /backups/:会把目录data直接同步至/backups目录中去

  # rsync -r /mydata/data/ /backups/:会把目录中的data/中的内容同步至/backups目录中  

7、常见问题

rsync同步缓慢问题:日志报错 name lookup failed for 172.18.89.169: Temporary failure in name resolution
解决方法:添加ip的本地hosts解析

rsync通配符传输特定文件:rsync -avz  /web/nginx/logs/$i.access_$(date +%Y%m)* 172.18.80.37::weblog/$i/web1
    

rsync本地用法：

  # cd /etc /tmp/

  # rsync /tmp/etc/passwd /tmp/test/passwd -nv

 

 [root@hadoop2 ~]# rsync -r rsync_backup@172.18.109.235::backup/sh rpmbuild/ --password-file=/etc/rsync.password  #复制服务端的文件夹

[root@hadoop2 ~]# ls -lh rpmbuild/

drwxr-xr-x 2 root root 4.0K 11月 16 16:27 sh

 

[root@hadoop2 ~]# rsync -a rsync_backup@172.18.109.235::backup/hadoop1 rpmbuild/ --password-file=/etc/rsync.password #复制时可以保存原有的属主属主等属性信息

[root@hadoop2 ~]# ls -lh rpmbuild/

总用量 20K

drwxr-xr-x 2  502  502 4.0K 11月 16 16:29 hadoop1 #复制后目录的用户和属组id仍然和服务端一样

 

二、inotify服务

异步的文件系统事件监控机制  

Inotify 可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件

就可以监控文件系统下文件的各种变化情况，而 inotify-tools 就是这样的一个第三方软件 ，inotify 可以监

控文件系统的各种变化，当文件有任何变动时，就触发rsync 同步，这样刚好解决了同步数据的实时性问题。

 

[root@hadoop-master inotify-tools-3.14]#  ls -l /proc/sys/fs/inotify/ #查看当前系统是否支持inotify

总用量 0

-rw-r--r-- 1 root root 0 11月 16 15:33 max_queued_events

-rw-r--r-- 1 root root 0 11月 16 15:33 max_user_instances

-rw-r--r-- 1 root root 0 11月 16 15:33 max_user_watches

 

1.在客户端上安装inotify:

  wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

./configure

  make&&make install

  

2.监听/tmp/目录的增，删，改操作并按格式打印:

 inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete,move,close_write /backup/ 

  测试结果：

  16/11/16 15:42 /backup/.master.sql.dexlH3

16/11/16 15:42 /backup/.master.sql.dexlH3

 

3.使用inotify监听目录实时rsync同步脚本:

vim inotify.sh

#!/bin/bash

inotify=/usr/local/bin/inotifywait

 

$inotify -mrq --format '%w%f' -e create,delete,move,close_write  /rsync1/ \

|while read file

 do

rsync -az --delete /rsync1/ rsync_backup@172.18.109.235::backup --password-file=/etc/rsync.password

done

 

[root@hadoop1 ~]# sh inotify.sh & #后台运行脚本

[1] 3292

[root@hadoop1 ~]# jobs

[1]+  Running                 sh inotify.sh &

 

4.优化inotify参数：

 

在/proc/sys/fs/inotify目录下有三个文件，对inotify机制有一定的限制

[root@web ~]# ll /proc/sys/fs/inotify/

总用量0

-rw-r--r--1 root root 09月923:36 max_queued_events

-rw-r--r--1 root root 09月923:36 max_user_instances

-rw-r--r--1 root root 09月923:36 max_user_watches

 

   max_user_watches #设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)

   max_user_instances #设置每个用户可以运行的inotifywait或inotifywatch命令的进程数

   max_queued_events #设置inotify实例事件(event)队列可容纳的事件数量

----------------------------

默认值如下：

[root@hadoop1 ~]# cat /proc/sys/fs/inotify/max_queued_events 

16384

[root@hadoop1 ~]# cat /proc/sys/fs/inotify/max_user_instances 

128

[root@hadoop1 ~]# cat /proc/sys/fs/inotify/max_user_watches 

8192

可以根据实际情况调整参数：

echo 50000000>/proc/sys/fs/inotify/max_user_watches -- 把他加入/etc/rc.local就可以实现每次重启都生效

echo 50000000>/proc/sys/fs/inotify/max_queued_events