Nginx+PHP+MySQL雙機互備 自動切換

jopen 12年前發布 | 25K 次閱讀 Nginx MySQL Web服務器

在生產應用中，某臺“Nginx+PHP+MySQL”接口數據服務器，扮演的角色十分重要，如果服務器硬件或Nginx、MySQL發生故障，而短時間 內無法恢復，后果將非常嚴重。為了避免單點故障，我設計了此套方案，編寫了failover.sh腳本，實現了雙機互備、全自動切換，故障轉移時間只需幾 十秒。

Nginx+PHP+MySQL雙機互備 自動切換

2、解釋：
        (1)、假設外網域名blog.s135.com解析到外網虛擬IP 72.249.146.214上，內網hosts設置db10對應內網虛擬IP 192.168.146.214

        (2)、默認情況下，由主機綁定內、外網虛擬IP，備機作為備份，當主機的MySQL、Nginx或服務器出現故障無法訪問時，備機會自動接管內、外 網虛擬IP。兩臺服務器都啟動負責監控、自動切換虛擬IP的守護進程/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &

        (3)、主機和備機上的MySQL服務器互為主從，互相同步。在主機處于活動狀態（即由主機綁定虛擬IP）時，讀寫主機的MySQL，寫到主機的數據 會同步到備機；在備機處于活動狀態時，讀寫備機的MySQL，寫到備機的數據會同步到主機（如果主機上的MySQL死掉暫時無法同步，主機上的MySQL 恢復后，數據會自動從備機上同步過來，反之亦然）。

        (4)、主機處于活動狀態時，每20秒會把/data0/htdocs/（網頁、程序、圖片存放目錄）、/usr/local/webserver /php/etc/（php.ini等配置文件目錄）、/usr/local/webserver/nginx/conf/（Nginx配置文件目錄）三 個目錄下的文件通過rsync推送到備機服務器上的對應目錄（增量推送，兩臺服務器上一樣的文件不會重復推送），反之如果備機處于活動狀態時，每20秒會 嘗試把文件推送到主機。rsync的配置文件見兩臺服務器的/etc/rsyncd.conf，rsync守護進程的啟動命令為rsync --daemon

        3、自動切換流程
        (1)、主機默認綁定內、外網虛擬IP，當主機的MySQL、Nginx無法訪問或服務器宕機，主機上的failover.sh守護進程會自動摘除自 己綁定的內、外網虛擬IP（如果主機上的failover.sh死掉，無法摘除自己綁定的虛擬IP也沒關系），備機上的failover.sh守護進程會 自動接管備機原來綁定的內、外網虛擬IP，并發送ARPing包給內、外網網關更新MAC，強行接管。

        (2)、備機綁定虛擬IP后，會發送ARPing包給內、外網網關，通知網關更新虛擬IP的MAC地址為備機的MAC地址，從而保證了切換后能夠通過虛擬IP及時訪問到備機。

        (3)、如果主機的MySQL、Nginx啟動起來，全部恢復正常訪問，主機上的failover.sh守護進程會檢測主機上的MySQL數據是否已 經完全從備機上同步過來。如果同步延遲時間為0，主機會自動接管內、外網虛擬IP，并發送ARPing包給內、外網網關，而備機也會自動摘除內、外網虛擬 IP。

        (4)、整個切換流程均由failover.sh自動完成，無需人工處理。 

        4、注意事項（很重要）：
        (1)、crontab里的文件沒有做自動同步，如果修改，需要手工在兩臺服務器上都做修改。

        (2)、/data0/htdocs/目錄內任何用ln -s建立的軟連接，rsync不會自動同步，如果在一臺服務器上建了軟連接，需要手工在另外一臺服務器上也建相同的軟連接。

        (3)、如果要刪除/data0/htdocs/目錄內的某些文件或目錄，需要先刪除處于活動狀態（即綁定了虛擬IP）服務器上的文件或目錄，再刪除處于備用狀態服務器上的文件或目錄。

        (4)、除了/data0/htdocs/（網頁、程序、圖片存放目錄）、/usr/local/webserver/php/etc /（php.ini等配置文件目錄）、/usr/local/webserver/nginx/conf/（Nginx配置文件目錄）三個目錄之外的其他 配置修改，需要在兩臺服務器上都做修改。
二、配置文檔與腳本：
        1、主機、備機兩臺服務器的rsync配置（配置相同）
(1)、rsync配置文件

01 vi /etc/rsyncd.conf
02  
03 uid = root
04 gid = root
05 use chroot = no
06 max connections = 20
07 pid file = /var/run/rsyncd.pid
08 lock file = /var/run/rsync.lock
09 log file = /var/log/rsyncd.log
10  
11 [data0_htdocs]
12 path = /data0/htdocs/
13 ignore errors
14 read only = no
15 hosts allow = 192.168.146.0/24
16 hosts deny = 0.0.0.0/32
17  
18 [php_etc]
19 path = /usr/local/webserver/php/etc/
20 ignore errors
21 read only = no
22 hosts allow = 192.168.146.0/24
23 hosts deny = 0.0.0.0/32
24  
25 [nginx_conf]
26 path = /usr/local/webserver/nginx/conf/
27 ignore errors
28 read only = no
29 hosts allow = 192.168.146.0/24
30 hosts deny = 0.0.0.0/32
(2)、啟動rsync守護進程 
1 /usr/bin/rsync --daemon

2、兩臺MySQL互為主從的配置
        這里就不詳細寫出互為主從的配置過程了，如果不懂的朋友可以在Google上搜一下。有一點需要指出，my.cnf配置文件中請加上skip-name-resolve參數，使用IP來進行MySQL帳號驗證。

    3、主機、備機兩臺服務器負載監控、虛擬IP自動切換的failover.sh守護進程
        (1)、啟動failover.sh守護進程（為了開機能夠自動運行，請將以下語句添加到/etc/rc.local文件中）：

1 /usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &


(2)、停止failover.sh守護進程：

1 ps -ef | grep failover.sh

會顯示以下信息：
         root     15428     1  0 Nov17 ?        00:00:03 /bin/sh /usr/local/webserver/failover/failover.sh
          root     20123  6878  0 16:16 pts/2    00:00:00 grep failover.sh
    然后殺死failover.sh的進程：

1 kill -9 15428

(3)、failover.sh代碼內容（請注意其中的type設置，主機設為master，備機設為slave）：

001 #!/bin/sh
002 LANG=C
003 date=$(date -d "today" +"%Y-%m-%d %H:%M:%S")
004  
005 #---------------配置信息(開始)---------------
006 #類型：主機設為master，備機設為slave
007 type="master"
008  
009 #主機、備機切換日志路徑
010 logfile="/var/log/failover.log"
011  
012 #MySQL可執行文件地址，例如/usr/local/mysql/bin/mysql；MySQL用戶名；密碼；端口
013 mysql_bin="/usr/local/webserver/mysql/bin/mysql"
014 mysql_username="root"
015 mysql_password="123456"
016 mysql_port="3306"
017  
018 #內網網關
019 gateway_eth0="192.168.146.1"
020  
021 #主機內網真實IP
022 rip_eth0_master="192.168.146.213"
023  
024 #備機內網真實IP
025 rip_eth0_slave="192.168.146.215"
026  
027 #主機、備機內網共用的虛擬IP
028 vip_eth0_share="192.168.113.214"
029  
030  
031 #外網網關
032 gateway_eth1="72.249.146.193"
033  
034 #主機外網真實IP
035 rip_eth1_master="72.249.146.213"
036  
037 #備機外網真實IP
038 rip_eth1_slave="72.249.146.215"
039  
040 #主機、備機外網共用的虛擬IP
041 vip_eth1_share="72.249.146.214"
042 #---------------配置信息(結束)---------------
043  
044 #綁定內、外網虛擬IP
045 function_bind_vip()
046 {
047     /sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 up
048     /sbin/route add -host ${vip_eth0_share} dev eth0:vip
049     /sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 up
050     /sbin/route add -host ${vip_eth1_share} dev eth1:vip
051     /usr/local/webserver/php/sbin/php-fpm reload
052     kill -USR1 `cat /usr/local/webserver/nginx/logs/nginx.pid`
053     /sbin/service crond start
054 }
055  
056 #解除內、外網虛擬IP
057 function_remove_vip()
058 {
059     /sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 down
060     /sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 down
061     /sbin/service crond stop
062 }
063  
064 #主機向備機推送文件的函數
065 function_rsync_master_to_slave()
066 {
067     /usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_slave}::data0_htdocs/ > /dev/null 2>&1
068     /usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_slave}::php_etc/ > /dev/null 2>&1
069     /usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_slave}::nginx_conf/ > /dev/null 2>&1
070 }
071  
072 #備機向主機推送文件的函數
073 function_rsync_slave_to_master()
074 {
075     /usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_master}::data0_htdocs/ > /dev/null 2>&1
076     /usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_master}::php_etc/ > /dev/null 2>&1
077     /usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_master}::nginx_conf/ > /dev/null 2>&1
078 }
079  
080 #虛擬IP ARPing
081 function_vip_arping()
082 {
083   /sbin/arping -I eth0 -c 3 -s ${vip_eth0_share} ${gateway_eth0} > /dev/null 2>&1
084   /sbin/arping -I eth1 -c 3 -s ${vip_eth1_share} ${gateway_eth1} > /dev/null 2>&1 
085 }
086  
087 while true
088 do
089     #用HTTP協議檢查虛擬IP
090     if(curl -m 30 -G http://${vip_eth1_share}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" > /dev/null 2>&1)
091     then
092     #取得與內網VIP綁定的服務器內網IP
093     eth0_active_server=$(${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}"-e"show slave status\G" | grep "Master_Host" | awk -F ': ' '{printf $2}')
094      
095     #如果內網VIP=主機內網IP（主機MySQL中的Master_Host顯示的是備機的域名或IP），且本機為主機
096     if [ "${eth0_active_server}" = "${rip_eth0_slave}" ] && [ "${type}" = "master" ]
097     then
098       function_rsync_master_to_slave
099       function_vip_arping   
100     #如果內網VIP=備機內網IP（備機MySQL中的Master_Host顯示的是主機的域名或IP）
101     elif [ "${eth0_active_server}" = "${rip_eth0_master}" ]
102     then
103       if(curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" | grep "Seconds_Behind_Master: 0" > /dev/null 2>&1)
104       then
105         #如果主機能夠訪問，數據庫同步無延遲，且本機就是主機，那么由本機綁定虛擬IP
106         if [ "${type}" = "master" ]
107         then
108           #如果本機為主機
109        function_bind_vip
110           function_vip_arping
111           echo "${date} 主機已綁定虛擬IP!(Type:1)" >> ${logfile}
112         else
113           #如果本機為備機
114        function_remove_vip
115           echo "${date} 備機已去除虛擬IP!(Type:2)" >> ${logfile}
116         fi
117       else
118         if [ "${type}" = "slave" ]
119         then
120           #如果本機為備機
121        function_rsync_slave_to_master       
122           function_vip_arping
123         fi     
124       fi
125     fi
126     else
127         #虛擬IP無法訪問時，判斷主機能否訪問
128         if(curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" > /dev/null 2>&1)
129         then
130             #如果主機能夠訪問，且本機就是主機，那么由本機綁定虛擬IP
131             if [ "${type}" = "master" ]
132             then
133                 function_bind_vip
134                 function_vip_arping
135                 echo "${date} 主機已綁定虛擬IP!(Type:3)" >> ${logfile}
136             else
137                 function_remove_vip
138                 echo "${date} 備機已去除虛擬IP!(Type:4)" >> ${logfile}
139             fi
140     elif (curl -m 30 -G http://${rip_eth1_slave}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_slave}" -e"show slave status\G" > /dev/null 2>&1)
141         then
142             #如果主機不能訪問而備機能夠訪問，且本機就是備機，那么由備機綁定虛擬IP
143             if [ "${type}" = "slave" ]
144             then
145                 function_bind_vip
146                 function_vip_arping
147                 echo "${date} 備機已綁定虛擬IP!(Type:5)" >> ${logfile}
148             else
149                 function_remove_vip
150                 echo "${date} 主機已去除虛擬IP!(Type:6)" >> ${logfile}
151             fi
152         else
153             echo "${date} 主機、備機全部無法訪問!(Type:7)" >> ${logfile}
154         fi
155     fi
156     #每次循環暫停20秒(即間隔20秒檢測一次)
157     sleep 20
158 done
 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！