MySQL 數據備份與同步

fanlix 12年前發布 | 1K 次閱讀 5.2.1版本發布

前段時間使用MySQL作為數據存儲做了一個小項目。項目上線運行了幾十天之后,數據已經越來越多,達到了100多M。用mysqldump每天備 份全量數據然后傳輸到另外一臺機器上這種方式進行數據備份,久而久之越來越慢。于是開始研究如何利用mysql的主從同步功能實現自動備份。如果實現自動 備份,主從服務器之間只需要在有數據更新時同步一點增量數據,不會在備份時占用大量的CPU和內網的網絡帶寬資源了。介紹主從同步之前,還是先從基礎的 mysqldump備份開始講起。

mysqldump

mysqldump是mysql數據庫提供的一個數據備份工具。顧名思義,mysqldump可以把mysql數據庫導出成sql語句文件,并保存到磁盤上。mysqldump命令產生的.sql文件包含一系列SQL INSERT語句,可以用來進行數據恢復。

假定我們在星期日下午1點進行了備份,此時負荷較低。下面的命令可以完全備份所有數據庫中的所有表:

1 shell> mysqldump --single-transaction --all-databases > backup_sunday_1_PM.sql

使用mysqldump進行數據備份,至少有兩個問題:

1 mysqldump運行時,需要消耗一定的計算資源。而且數據庫越大,消耗的計算資源也就越多,因此可能會造成系統在備份時運行效率低,容易造成用戶卡死。

2 對mysqldump備份的數據進行恢復,會丟掉從備份點開始的更新數據。

為了解決第2點的問題, mysql文檔中給出了一個解決辦法。那就是利用mysqlbinlog二進制文件保存增量的數據。采用全量mysqldump+增量mysqlbinlog的方式進行數據恢復。

下面介紹mysqlbinlog

mysqlbinlog

mysqlbinlog就是mysql的二進制數據文件。在對mysql進行一些配置之后,mysql會把數據庫的更新操作都記錄在一個文件中。mysqlbinlog可以在mysqld的--bin-log選項或者在配置文件(my.cnf或者my.ini)中打開。

[mysqld]

log-bin=mysql-bin   //[必須]啟用二進制日志


在啟用了二進制日志以后,在mysql的數據目錄下,會出現一些以數字為結尾的文件,例如:

-rw-rw---- 1 guilhem  guilhem   1277324 Nov 10 23:59 mysql-bin.000001
-rw-rw---- 1 guilhem  guilhem         4 Nov 10 23:59 mysql-bin.000002


這些文件就是二進制的日志文件。每次mysql啟動都會增加一個文件。

下面回到上節提出的問題,如何采用全量mysqldump+增量mysqlbinlog的方式進行數據恢復?

方法其實很簡單,在每次使用mysqldump進行全量數據備份時,用--flush-logs選項:

 mysqldump --single-transaction --flush-logs --master-data=2 > backup.sql

在使用這樣的語句進行備份之后,mysql就會關閉原來的二進制日志文件,開啟一個新的二進制日志文件。比如,新開啟的二進制日志文件為 mysql-bin.000003。 那么在進行數據恢復的時候,你可以利用backup.sql進行全量恢復+ mysql-bin.000003進行增量同步。

數據恢復的方法也很簡單。

1 cat backup.sql | mysql -uroot -ppassword
2 mysqlbinlog mysql-bin.000003 | mysql -uroot -ppassword

mysqlbinlog是一個讀取 mysql二進制日志輸出sql語句的命令行工具。使用方法可以從 http://doc.mysql.cn/mysql5/refman-5.1-zh.html-chapter/client-side-scripts.html#mysqlbinlog 查到。

還記得上文提出的mysqldump備份的兩個問題嗎,現在第二個問題解決了,第一個問題還沒有解決

“ mysqldump運行時,需要消耗一定的計算資源。而且數據庫越大,消耗的計算資源也就越多,因此可能會造成系統在備份時運行效率低,容易造成用戶卡死。”

下文中我們利用mysql主從同步來解決這個問題。

主從同步

主從同步的含義非常簡單。通過一定的設置,讓兩臺或者多臺mysql服務器的數據保持一致。設置的方法網上已經有很多方法了,推薦這篇帖子http://369369.blog.51cto.com/319630/790921

設置成主從同步之后,基本上就免去了每天全量備份之苦。而且一但主數據庫出問題,可以馬上切換到從數據庫進行服務,大大減少了故障恢復的時間。

我講一講我在配置中遇到的2個問題:

1 在從服務器上 show slave status時,顯示 Slave_SQL_Running: No. 錯誤的原因是 mysql 數據庫的db表已經存在,不能再建立。

錯誤的原因是這樣的, 我在每臺數據上都運行了 mysql_install_db這個命令安裝了 mysql test info_schema這3個數據庫。當我主從同步開始時,主數據庫要向從數據庫同步建立mysql數據庫的操作。而從數據庫已經建立了mysql數據 庫。

我解決的方法是在配置文件里指明寫二進制文件的數據庫名稱。只有真正需要同步的業務數據庫才寫二進制文件。

主數據庫:

[mysqld]

binlog-do-db=exampledb

從數據庫:

[mysqld]

replicate-do-db=exampledb


2 我的主數據庫已經運行有一段時間了。在從服務器設置master_log_pos的時候設置成主服務器的當前日志位置。結果同步時也出現了Slave_SQL_Running: No. 錯誤的原因是: 執行Insert語句時數據表沒有建立。


錯誤的原因也很簡單,我在從數據庫里面還沒有建立對應的數據庫,而同步的操作為插入數據。


解決的方法是通過mysqldump對主數據庫進行一次全量數據備份,并且在從數據庫中恢復這個備份之后才開始進行主從同步。

 本文由用戶 fanlix 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!