使用 Python 自動將數據庫備份到 Dropbox 的腳本
最近，正好發生了一件大事，就是 GitLab 的運維同學不小心刪除了生產的數據，雖然 GitLab 已經駭人聽聞的準備了五種備份機制，但是，仍然導致他們丟失了將近 6 個小時的用戶數據，尤其對他們聲譽的損失，是根本無法估量的。反思一下，這個博客 Becomin’ Charles，也是沒有完善的備份的，真是冷汗直冒啊，主要考慮到這是我的個人博客，但是想想已經堅持了快十年了，如果真的丟了的話，還是非常痛心的。
正好，老婆最近正在學習Python 編程，我在教她，其實，我是PHP 程序員，一點也不喜歡 Python，但是說實在，一個外行學編程的話，Python 確實比PHP 友好太多了，只能推薦她學 Python 了。正好，借著這個機會，我決定自己也學學 Python 編程吧，于是，我決定要用 Python 做一個數據庫的自動備份腳本。備份的位置，就用Dropbox 來做吧，因為我的服務器是 Linode 提供的，美國 fremont 機房，選擇美國的存儲服務，比較合適。以下是我寫得代碼，Python 小白，敬請指教：
#!/usr/bin/python
#coding:utf-8
import sys
import os
from yamlimport load
from datetime import datetime
import dropbox
from dropbox.filesimport WriteMode
from dropbox.exceptions import ApiError, AuthError
if len(sys.argv) < 2:
print >>sys.stderr, "Usage: %s <config_file>" % sys.argv[0]
sys.exit(0)
conf = load(file(sys.argv[1], 'r'))
# config file is a YAML looks like
# ---
# server-name: 127.0.0.1
# local-backup-path: /tmp
# remote-backup-path: /backup
# dropbox-token: jdkgjdkjg
# databases:
# - host: localhost
# port: 3306
# user: user
# pass: password
# name: database1
# charset: utf8
# - host: localhost
# port: 3306
# user: user2
# pass: password2
# name: database2
# charset: utf8
for dbin conf['databases'] :
filename = "%s_%s.sql" % (db['name'], datetime.now().strftime("%Y%m%d-%H-%M-%S"))
filepath = "%s/%s" % (conf['local-backup-path'], filename)
cmd = "mysqldump -h%s -u%s -p%s -P%s --single-transaction %s > %s" % (
db['host'],
db['user'],
db['pass'],
db['port'],
db['name'],
filepath
)
os.system(cmd)
cmd = "gzip %s" % filepath
os.system(cmd)
filepath = filepath + '.gz'
dbx = dropbox.Dropbox(conf['dropbox-token'])
backuppath = "%s/%s/%s/%s" % (
conf['remote-backup-path'], # remote path
datetime.now().strftime("%Y%m%d"), # date string
conf['server-name'], # server name
filename + '.gz')
with open(filepath, 'rb') as f:
time = datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
print(time + "Uploading " + filepath + " to Dropbox as " + backuppath)
try:
dbx.files_upload(f.read(), backuppath, mode=WriteMode('overwrite'))
except ApiErroras err:
# This checks for the specific error where a user doesn't have
# enough Dropbox space quota to upload this file
if (err.error.is_path() and
err.error.get_path().error.is_insufficient_space()):
sys.exit("ERROR: Cannot back up; insufficient space.")
elif err.user_message_text:
print(err.user_message_text)
sys.exit()
else:
print(err)
sys.exit()
簡單描述下這個代碼的思路，這個程序應該滿足這個幾個要求：
- 使用 mysqldump 備份數據庫到本地
- 應該支持配置文件，允許配置多個數據庫
- 可以上傳到 Dropbox
為了完成這些要求，首先碰到的難題是怎么支持配置文件，一搜，原來 Python 下有個默認的 ConfigParser，可以完成這個任務，但是正常東西比較惡心的是，配置文件必須是以 [Section] 為單位組織的。其實我的配置顯然有些全局配置，還有就是數據庫的各種信息是多次重復的，這種配置文件，嵌套能力簡直糟糕，必須兩層的結構，就很惡心。于是我去網上搜配置文件的格式，好多文章比較了各種配置文件的優劣，其實這文章挺多的，我想了想，以后或許我也可以寫文章講講我自己的感受了。反正就是很多文章最后都公認 YAML 是配置文件里最完美的。于是我也決定用這個，果然也有現成的類庫，就是 PyYAML，特方便，就倆函數 load 和 dump，直接就把文件變成 dict 格式了。
第二個難題，就是上傳 Dropbox，后來發現，官方提供了很豐富的 API，而且直接就有 SDK，（讓我眼紅的是，官方竟然沒有 PHP 的 SDK，這么不受待見么？），研究 SDK 用法，發現直接就有代碼范例，于是直接抄到我的代碼里，瞬間完成了 50% 的代碼，爽！
整個代碼完成后，我發現，寫代碼一共也沒花多少時間，而且，我學會的 Python 的方式，我以前一直抱怨 Python 的文檔難用，我發現，其實，最好的方式其實是在交互式的 Shell 里，用 help 來查詢 API，再輔佐以官方文檔，才是比較正確的方式。這是刷新了一個我以前的認識的地方。實踐下來感覺還不錯的。Python 的包管理器 pip 也很好用。
pip install PyYAML
pip install dropbox
來自：https://sexywp.com/use-python-to-backup-database-to-dropbox.htm