MySQL 數據備份與同步
前段時間使用MySQL作為數據存儲做了一個小項目。項目上線運行了幾十天之后,數據已經越來越多,達到了100多M。用mysqldump每天備 份全量數據然后傳輸到另外一臺機器上這種方式進行數據備份,久而久之越來越慢。于是開始研究如何利用mysql的主從同步功能實現自動備份。如果實現自動 備份,主從服務器之間只需要在有數據更新時同步一點增量數據,不會在備份時占用大量的CPU和內網的網絡帶寬資源了。介紹主從同步之前,還是先從基礎的 mysqldump備份開始講起。
mysqldump
mysqldump是mysql數據庫提供的一個數據備份工具。顧名思義,mysqldump可以把mysql數據庫導出成sql語句文件,并保存到磁盤上。mysqldump命令產生的.sql文件包含一系列SQL INSERT語句,可以用來進行數據恢復。
假定我們在星期日下午1點進行了備份,此時負荷較低。下面的命令可以完全備份所有數據庫中的所有表:
1 |
shell> mysqldump --single-transaction --all-databases > backup_sunday_1_PM.sql |
使用mysqldump進行數據備份,至少有兩個問題:
1 mysqldump運行時,需要消耗一定的計算資源。而且數據庫越大,消耗的計算資源也就越多,因此可能會造成系統在備份時運行效率低,容易造成用戶卡死。
2 對mysqldump備份的數據進行恢復,會丟掉從備份點開始的更新數據。
為了解決第2點的問題, mysql文檔中給出了一個解決辦法。那就是利用mysqlbinlog二進制文件保存增量的數據。采用全量mysqldump+增量mysqlbinlog的方式進行數據恢復。
下面介紹mysqlbinlog
mysqlbinlog
mysqlbinlog就是mysql的二進制數據文件。在對mysql進行一些配置之后,mysql會把數據庫的更新操作都記錄在一個文件中。mysqlbinlog可以在mysqld的--bin-log選項或者在配置文件(my.cnf或者my.ini)中打開。
[mysqld]
log-bin=mysql-bin //[必須]啟用二進制日志
在啟用了二進制日志以后,在mysql的數據目錄下,會出現一些以數字為結尾的文件,例如:
-rw-rw---- 1 guilhem guilhem 1277324 Nov 10 23:59 mysql-bin.000001
-rw-rw---- 1 guilhem guilhem 4 Nov 10 23:59 mysql-bin.000002
這些文件就是二進制的日志文件。每次mysql啟動都會增加一個文件。
下面回到上節提出的問題,如何采用全量mysqldump+增量mysqlbinlog的方式進行數據恢復?
方法其實很簡單,在每次使用mysqldump進行全量數據備份時,用--flush-logs選項:
mysqldump --single-transaction --flush-logs --master-data=2 > backup.sql
在使用這樣的語句進行備份之后,mysql就會關閉原來的二進制日志文件,開啟一個新的二進制日志文件。比如,新開啟的二進制日志文件為 mysql-bin.000003。 那么在進行數據恢復的時候,你可以利用backup.sql進行全量恢復+ mysql-bin.000003進行增量同步。
數據恢復的方法也很簡單。
1 |
cat backup.sql | mysql -uroot -ppassword |
2 |
mysqlbinlog mysql-bin.000003 | mysql -uroot -ppassword |
mysqlbinlog是一個讀取 mysql二進制日志輸出sql語句的命令行工具。使用方法可以從 http://doc.mysql.cn/mysql5/refman-5.1-zh.html-chapter/client-side-scripts.html#mysqlbinlog 查到。
還記得上文提出的mysqldump備份的兩個問題嗎,現在第二個問題解決了,第一個問題還沒有解決
“ mysqldump運行時,需要消耗一定的計算資源。而且數據庫越大,消耗的計算資源也就越多,因此可能會造成系統在備份時運行效率低,容易造成用戶卡死。”
下文中我們利用mysql主從同步來解決這個問題。
主從同步
主從同步的含義非常簡單。通過一定的設置,讓兩臺或者多臺mysql服務器的數據保持一致。設置的方法網上已經有很多方法了,推薦這篇帖子http://369369.blog.51cto.com/319630/790921
設置成主從同步之后,基本上就免去了每天全量備份之苦。而且一但主數據庫出問題,可以馬上切換到從數據庫進行服務,大大減少了故障恢復的時間。
我講一講我在配置中遇到的2個問題:
1 在從服務器上 show slave status時,顯示 Slave_SQL_Running: No. 錯誤的原因是 mysql 數據庫的db表已經存在,不能再建立。
錯誤的原因是這樣的, 我在每臺數據上都運行了 mysql_install_db這個命令安裝了 mysql test info_schema這3個數據庫。當我主從同步開始時,主數據庫要向從數據庫同步建立mysql數據庫的操作。而從數據庫已經建立了mysql數據 庫。
我解決的方法是在配置文件里指明寫二進制文件的數據庫名稱。只有真正需要同步的業務數據庫才寫二進制文件。
主數據庫:
[mysqld]
binlog-do-db=exampledb
從數據庫:
[mysqld]
replicate-do-db=exampledb
2 我的主數據庫已經運行有一段時間了。在從服務器設置master_log_pos的時候設置成主服務器的當前日志位置。結果同步時也出現了Slave_SQL_Running: No. 錯誤的原因是: 執行Insert語句時數據表沒有建立。
錯誤的原因也很簡單,我在從數據庫里面還沒有建立對應的數據庫,而同步的操作為插入數據。
解決的方法是通過mysqldump對主數據庫進行一次全量數據備份,并且在從數據庫中恢復這個備份之后才開始進行主從同步。