利用MariaDB Galera Cluster實現mariadb的多主復制

jopen 10年前發布 | 105K 次閱讀 MariaDB MySQL 數據庫服務器

一、MariaDB Galera Cluster概要:

1.簡述:

      MariaDB Galera Cluster 是一套在mysql innodb存儲引擎上面實現multi-master及數據實時同步的系統架構,業務層面無需做讀寫分離工作,數據庫讀寫壓力都能按照既定的規則分發到 各個節點上去。在數據方面完全兼容 MariaDB 和 MySQL。

2.特性:

      (1).同步復制 Synchronous replication

      (2).Active-active multi-master 拓撲邏輯

      (3).可對集群中任一節點進行數據讀寫

      (4).自動成員控制,故障節點自動從集群中移除

      (5).自動節點加入

      (6).真正并行的復制,基于行級

      (7).直接客戶端連接,原生的 MySQL 接口

      (8).每個節點都包含完整的數據副本

      (9).多臺數據庫中數據同步由 wsrep 接口實現

3.局限性

      (1).目前的復制僅僅支持InnoDB存儲引擎,任何寫入其他引擎的表,包括mysql.*表將不會復制,但是DDL語句會被復制的,因此創建用戶將會被復制,但是insert into mysql.user…將不會被復制的.

      (2).DELETE操作不支持沒有主鍵的表,沒有主鍵的表在不同的節點順序將不同,如果執行SELECT…LIMIT… 將出現不同的結果集.

      (3).在多主環境下LOCK/UNLOCK TABLES不支持,以及鎖函數GET_LOCK(), RELEASE_LOCK()…

      (4).查詢日志不能保存在表中。如果開啟查詢日志,只能保存到文件中。

      (5).允許最大的事務大小由wsrep_max_ws_rows和wsrep_max_ws_size定義。任何大型操作將被拒絕。如大型的LOAD DATA操作。

      (6).由于集群是樂觀的并發控制,事務commit可能在該階段中止。如果有兩個事務向在集群中不同的節點向同一行寫入并提交,失敗的節點將中止。對 于集群級別的中止,集群返回死鎖錯誤代碼(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).

      (7).XA事務不支持,由于在提交上可能回滾。

      (8).整個集群的寫入吞吐量是由最弱的節點限制,如果有一個節點變得緩慢,那么整個集群將是緩慢的。為了穩定的高性能要求,所有的節點應使用統一的硬件。

      (9).集群節點建議最少3個。

      (10).如果DDL語句有問題將破壞集群。

二、MariaDB Galera Cluster搭建演示

1.環境描述

OS: red hat linux 6.0 64bit

</tr>

</tbody> </table>

MariaDB server1: 192.168.1.137
MariaDB server2: 192.168.1.138
MariaDB server3: 192.168.1.139

</tr>

</tbody> </table>

Galera SST user: sst
Galera SST password: sstpass123

</tr>

</tbody> </table>

2. 配置mariadb的yum源

[root@client137 ~]#  vim /etc/yum.repos.d/mariadb.repo

[root@client138 ~]#  vim /etc/yum.repos.d/mariadb.repo

[root@client139 ~]#  vim /etc/yum.repos.d/mariadb.repo

# yum源的內容如下:

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/5.5/rhel6-amd64

enabled = 1

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

[root@client137 ~]#  yum makecache

[root@client138 ~]#  yum makecache

[root@client139 ~]#  yum makecache

3.安裝 MariaDB-Galera-server galera MariaDB-client

[root@client137 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

[root@client138 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

[root@client139 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

4.編輯每臺機器的hosts文件,添加如下內容

[root@client137 ~]# vim /etc/hosts

192.168.1.137 client137.kongzhong.com  client137
192.168.1.138 client138.kongzhong.com  client138
192.168.1.139 client139.kongzhong.com  client139

# 啟動測試一下

[root@client137 ~]# /etc/init.d/mysql start
Starting MySQL.... SUCCESS!
[root@client137 ~]# chkconfig mysql on

5.設置MariaDB的root密碼,并做安全加固

[root@client137 ~]#  /usr/bin/mysql_secure_installation

[root@client137 ~]#  /usr/bin/mysql_secure_installation

# 登陸數據庫,授權用于集群同步的用戶和密碼

[root@client137 ~]# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

# 創建并配置wsrep.cnf文件

[root@client137 ~]# cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/
[root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只需要修改如下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

wsrep_cluster_address="gcomm://"

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

# 注意:

#    "gcomm://" 是特殊的地址,僅僅是Galera cluster初始化啟動時候使用。

#    如果集群啟動以后,我們關閉了第一個節點,那么再次啟動的時候必須先修改,"gcomm://"為其他節點的集群地址,例如wsrep_cluster_address="gcomm://192.168.1.138:4567"

6.確認本機防火墻上開放了所需TCP 3306和TCP 4567的端口[也可以關閉防火墻]

[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

# 啟動mariadb,查看3306和4567端口是否被監聽

[root@client137 ~]# /etc/init.d/mysql restart

[root@client137 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      32363/mysqld
tcp        0      0 0.0.0.0:4567                0.0.0.0:*                   LISTEN      32363/mysqld

# 這樣一個節點就已經配置完成,其他節點的配置先給個思路,如下注釋部分:

# ********************* #

構造新節點的操作步驟如下:

1.按照上述1-6的步驟安裝MariaDB和Galera library

2.除了第5步wsrep_cluster_address的配置稍有不同:

wsrep_cluster_address="gcomm://Node-A-IP:4567"  # 這里指向是指上一層的集群地址

3.重起MariaDB

# ********************* #

7.新添加節點的配置如下:

# 構建192.168.1.138節點

[root@client138 ~]# /etc/init.d/mysql start
Starting MySQL.... SUCCESS!
[root@client138 ~]#   /usr/bin/mysql_secure_installation

[root@client138 ~]# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

[root@client138 ~]# cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/
[root@client138 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只需要修改如下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

# 這里指定上一個集群節點的IP地址

wsrep_cluster_address="gcomm://192.168.1.137:4567"

# 指定用于同步的賬號和密碼

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

# 確認本機防火墻上開放了所需TCP 3306和TCP 4567的端口

[root@client138 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client138 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

# 啟動,監聽

[root@client138 ~]# /etc/init.d/mysql restart

[root@client138 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      32363/mysqld
tcp        0      0 0.0.0.0:4567                0.0.0.0:*                   LISTEN      32363/mysqld

# 構建192.168.1.139節點

[root@client139 ~]# /etc/init.d/mysql start
Starting MySQL.... SUCCESS!
[root@client139 ~]#   /usr/bin/mysql_secure_installation

[root@client139 ~]# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

[root@client139 ~]# cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/
[root@client139 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只需要修改如下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

# 這里指定上一個集群節點的IP地址

wsrep_cluster_address="gcomm://192.168.1.138:4567"

# 指定用于同步的賬號和密碼

wsrep_sst_method=rsync

# 確認本機防火墻上開放了所需TCP 3306和TCP 4567的端口

[root@client139 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client139 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

# 啟動,并查看監聽

[root@client139 ~]# /etc/init.d/mysql restart

[root@client139 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      32363/mysqld
tcp        0      0 0.0.0.0:4567                0.0.0.0:*                   LISTEN      32363/mysqld

8.以上配置完成后,

對于只有2個節點的Galera Cluster和其他集群軟件一樣,需要面對極端情況下的"腦裂"狀態。

為了避免這種問題,Galera引入了"arbitrator(仲裁人)"。

"仲裁人"節點上沒有數據,它在集群中的作用就是在集群發生分裂時進行仲裁,集群中可以有多個"仲裁人"節點。

"仲裁人"節點加入集群的方法如下:

[root@client137 ~]# garbd -a gcomm://192.168.1.137:4567 -g my_wsrep_cluster -d

# 注釋:參數說明 :

   -d:以daemon模式運行

   -a:集群地址

   -g: 集群名稱

9.測試集群是否配置好參數:

登陸數據庫:

查看如下幾個參數:

# 下面這個參數的顯示是初始化數據庫顯示的情況

MariaDB [(none)]> SHOW VARIABLES LIKE 'wsrep_cluster_address';
+-----------------------+----------+
| Variable_name         | Value    |
+-----------------------+----------+
| wsrep_cluster_address | gcomm:// |
+-----------------------+----------+
1 row in set (0.00 sec)

# 如果配置了指向集群地址,上面那個參數值,應該是你指定集群的IP地址
MariaDB [kz]> SHOW VARIABLES LIKE 'wsrep_cluster_address';
+-----------------------+----------------------------+
| Variable_name         | Value                      |
+-----------------------+----------------------------+
| wsrep_cluster_address | gcomm://192.168.1.139:4567 |
+-----------------------+----------------------------+
1 row in set (0.00 sec)
# 此參數查看是否開啟
MariaDB [kz]> show status like 'wsrep_ready';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| wsrep_ready   | ON    |
+---------------+-------+
1 row in set (0.00 sec)

# 這個查看wsrep的相關參數

MariaDB [terry]> show status like 'wsrep%';

+----------------------------+--------------------------------------+

| Variable_name              | Value                                |

+----------------------------+--------------------------------------+

| wsrep_local_state_uuid     | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 集群唯一標記

| wsrep_protocol_version     | 4                                    |

| wsrep_last_committed       | 16                                   | sql 提交記錄

| wsrep_replicated               | 4                                     | 隨著復制發出的次數

| wsrep_replicated_bytes      | 692                                  | 數據復制發出的字節數

| wsrep_received                 | 18                                    | 數據復制接收次數

| wsrep_received_bytes        | 3070                                 | 數據復制接收的字節數

| wsrep_local_commits         | 4                                      | 本地執行的 sql

| wsrep_local_cert_failures    | 0                                      | 本地失敗事務

| wsrep_local_bf_aborts        | 0                                      |從執行事務過程被本地中斷

| wsrep_local_replays           | 0                                      |

| wsrep_local_send_queue     | 0                                     | 本地發出的隊列

| wsrep_local_send_queue_avg | 0.142857                       | 隊列平均時間間隔

| wsrep_local_recv_queue     | 0                                      | 本地接收隊列

| wsrep_local_recv_queue_avg | 0.000000                        | 本地接收時間間隔

| wsrep_flow_control_paused  | 0.000000                         |

| wsrep_flow_control_sent    | 0                                      |

| wsrep_flow_control_recv    | 0                                    |

| wsrep_cert_deps_distance   | 0.000000                          | 并發數量

| wsrep_apply_oooe           | 0.000000                             |

| wsrep_apply_oool           | 0.000000                             |

| wsrep_apply_window         | 1.000000                             |

| wsrep_commit_oooe          | 0.000000                             |

| wsrep_commit_oool          | 0.000000                             |

| wsrep_commit_window        | 1.000000                             |

| wsrep_local_state          | 4                                    |

| wsrep_local_state_comment  | Synced                               |

| wsrep_cert_index_size      | 0                                    |

| wsrep_causal_reads         | 0                                    |

| wsrep_incoming_addresses   | 192.168.1.137:3306    | 連接中的數據庫

| wsrep_cluster_conf_id      | 18                                   |

| wsrep_cluster_size         | 2                                    | 集群成員個數

| wsrep_cluster_state_uuid   | bb5b9e17-66c8-11e3-86ba-96854521d205 | 集群 ID

| wsrep_cluster_status       | Primary                              | 主服務器

| wsrep_connected            | ON                                   | 當前是否連接中

| wsrep_local_index          | 1                                    |

| wsrep_provider_name        | Galera                               |

| wsrep_provider_vendor      | Codership Oy <info@codership.com>    |

| wsrep_provider_version     | 2.7(rXXXX)                           |

| wsrep_ready                | ON                                   | 插件是否應用中

+----------------------------+--------------------------------------+

40 rows in set (0.05 sec)

#以上詳細參數注釋:

監控狀態參數說明:

(1).集群完整性檢查:

wsrep_cluster_state_uuid:在集群所有節點的值應該是相同的,有不同值的節點,說明其沒有連接入集群.

wsrep_cluster_conf_id:正常情況下所有節點上該值是一樣的.如果值不同,說明該節點被臨時"分區"了.當節點之間網絡連接恢復的時候應該會恢復一樣的值.

wsrep_cluster_size:如果這個值跟預期的節點數一致,則所有的集群節點已經連接.

wsrep_cluster_status:集群組成的狀態.如果不為"Primary",說明出現"分區"或是"split-brain"狀況.

(2).節點狀態檢查:

wsrep_ready: 該值為ON,則說明可以接受SQL負載.如果為Off,則需要檢查wsrep_connected.

wsrep_connected: 如果該值為Off,且wsrep_ready的值也為Off,則說明該節點沒有連接到集群.

wsrep_local_state_comment:如果wsrep_connected為On,但wsrep_ready為OFF,則可以從該項查看原因.

(3).復制健康檢查:

       wsrep_flow_control_paused:表示復制停止了多長時間.即表明集群因為Slave延遲而慢的程度.值為0~1,越靠近0越好,值為1表示復制完全停止.可優化wsrep_slave_threads的值來改善.

wsrep_cert_deps_distance:有多少事務可以并行應用處理.wsrep_slave_threads設置的值不應該高出該值太多.

wsrep_flow_control_sent:表示該節點已經停止復制了多少次.

wsrep_local_recv_queue_avg:表示slave事務隊列的平均長度.slave瓶頸的預兆.

最慢的節點的wsrep_flow_control_sent和wsrep_local_recv_queue_avg這兩個值最高.這兩個值較低的話,相對更好.

(4).檢測慢網絡問題:

wsrep_local_send_queue_avg:網絡瓶頸的預兆.如果這個值比較高的話,可能存在網絡瓶

(5).沖突或死鎖的數目:

wsrep_last_committed:最后提交的事務數目

      wsrep_local_cert_failures和wsrep_local_bf_aborts:回滾,檢測到的沖突數目

10.測試數據同步,一致等問題,這個測試不演示,概述一下大概思路:

     (1).創建一個數據庫,看是否同步

     (2).數據庫里分別創建一個innodb和myisam引擎的表,看是否同步

     (3).分別往這兩張表里插入數據,看是否同步,除innodb引擎數據可以同步,其余引擎是不同步

     (4).在任意一節點插入,刪除數據,看是否同步

11.在上面galera集群搭建完成后,我們可以借助于haproxy和lvs來實現mysql數據庫集群之間的負載

這里就不演示,可以自己配置試試!

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!
MySQL root password: kongzhong
  • sesese色