rsync+inotify文件變動后實時自動同步程序

yadi2380 8年前發布 | 15K 次閱讀 Linux

來自: http://blog.csdn.net//clh604/article/details/8909918


1、rsync

與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨著應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據 時,需要掃描所有文件后進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的 一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定 會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基于以上原因,rsync+inotify組合出現了!

2、inotify

Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統 中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣 的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。

 

下面是2個服務器的結構,分別為主機名、ip、狀態、內核、位數、同步的目錄,并將2臺服務器均是centos5.5。

web服務器:192.168.1.7

備份服務器:192.168.1.15

 

一、web服務器

其中web服務器需要安裝rsync與inotify,web服務器作為server,向備份服務器傳輸文件
1、安裝rsync

[root@nginx ~]# cd /usr/src/
[root@nginx src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz
[root@nginx src]# cd rsync-3.0.9
[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
[root@nginx rsync-3.0.9]# make
[root@nginx rsync-3.0.9]# make install
2、建立密碼認證文件

[root@nginx rsync-3.0.9]# cd /usr/local/rsync/
[root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync.passwd

其中rsync-pwd可以自己設置密碼,rsync.passwd名字也可以自己設置

[root@nginx rsync]# chmod 600 rsync.passwd

無論是為了安全,還是為了避免出現以下錯誤,密碼文件都需要給600權限

3、安裝inotify

 

[root@nginx rsync]# cd /usr/src/
[root@nginx src]# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz
[root@nginx src]# cd inotify-tools-3.14
[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@nginx inotify-tools-3.14]# make
[root@nginx inotify-tools-3.14]# make install

 

4、創建rsync復制腳本

此項功能主要是將server端的目錄/tmp里的內容,如果修改了(無論是添加、修改、刪除文件)能夠通過inotify監控到,并通過rsync實時的同步給client的/tmp里,下面是通過shell腳本實現的。

#!/bin/bash
host=192.168.1.15
src=/tmp/
des=web
user=webuser
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync.passwd $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

把這個腳本命名為rsync.sh,放到監控的目錄里,比如我的就放到/tmp下面,并給予764權限
[root@nginx tmp]# chmod 764 rsync.sh 
然后運行這個腳本
[root@nginx tmp]# sh /tmp/rsync.sh & 
請記住,只有在備份服務器的rsync安裝并啟動rsync之后,在啟動rsync.sh腳本,否則有時候會滿屏出現

rsync: failed to connect to 192.168.10.221: Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(107) [sender=2.6.8]

 

我們還可以把rsync.sh腳本加入到開機啟動項里

[root@nginx tmp]# echo "/tmp/rsync.sh" >> /etc/rc.local

 

二、備份服務器

1、安裝rsync(備份服務器只安裝rsync

[root@nginx-backup ~]# cd /usr/src/
[root@nginx-backup src]# wget http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
[root@nginx-backup src]# tar zxvf rsync-3.0.9.tar.gz
[root@nginx-backup src]# cd rsync-3.0.9
[root@nginx-backup rsync-3.0.9]# ./configure --prefix=/usr/local/rsync
[root@nginx-backup rsync-3.0.9]# make
[root@nginx-backup rsync-3.0.9]# make install

2、建立用戶與密碼認證文件

[root@nginx-backup rsync-3.0.9]# echo "webuser:rsync-pwd" > /usr/local/rsync/rsync.passwd
請記住,在web端建立的密碼文件,只有密碼,沒有用戶名;而在備份服務端里建立的密碼文件,用戶名與密碼都有。
[root@nginx-backup rsync]# chmod 600 rsync.passwd

需要給密碼文件600權限

3、建立rsync配置文件

uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web]
path = /tmp/
comment = web file
ignore errors
read only = no
write only = no
hosts allow = 192.168.1.7
hosts deny = *
list = false
uid = root
gid = root
auth users = webuser
secrets file = /usr/local/rsync/rsync.passwd

 

其中web是server服務端里的認證模塊名稱,需要與主服務器里的一致,以上的配置我的自己服務器里的配置,以供參考。

把配置文件命名為rsync.conf,放到/usr/local/rsync/目錄里
啟動rsync
[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf
如果出現以下問題:

/usr/local/rsync/bin/rsync: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory,

可以采用下面方法解決

[root@nginx-backup rsync]# whereis libiconv.so.2
libiconv.so: /usr/local/lib/libiconv.so.2 /usr/local/lib/libiconv.so

找到所需模塊所在的目錄,然后把此目錄添加到/etc/ld.so.conf里,并更新庫文件

[root@nginx-backup rsync]# echo "/usr/local/lib/" >> /etc/ld.so.conf
[root@nginx-backup rsync]# ldconfig

我們可以把rsync腳本加入到開機啟動項里

 

現在rsync與inotify的搭建與配置完成了,并實現了服務器直接數據的實時同步;大家可以根據自己的需要來進行相應的配置。

BTW:在rsync+inotify這種備份方法的時候,我公司遇到了一個問題,那就是主服務已經給備用服務同步完數據了,但主服務器磁盤看 見滿了,需要把已經備份的文件刪除,但同時在備份服務器里保留主服務器里的文件,也就是說主服務器里刪除文件的時候,備份服務器里不跟著刪除文件,我查看 了很多英文文檔,測試了很多遍,最后找到了一個解決方法,那就是在主服務器里,把rsync.sh這個腳本里第9行的–delete參數給去掉,就可以 解決這個問題。

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync.conf" >> /etc/rc.local

</div>

 本文由用戶 yadi2380 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!