mongodb 的一個同步工具:mongoSync

jopen 10年前發布 | 54K 次閱讀 mongoSync MongoDB NoSQL數據庫

功能介紹: mongodb 的一個同步工具,具備將一個數據源上的數據,同步到其它 mongodb 上,支持: 1) mongos -> (mongos, mongod) 2) mongod -> (mongos, mongod)

如果源是 mongos,情況比較復雜,需要從 mongos 里將副本信息全部取出來,同步到 mongod 中;
需要注意的是,源和目的 mongo,都需要使用 admin 賬號,以取得所有權限;
支持 oplog 格式為:"ts" : Timestamp(1372320938000, 1)  目前的 2.6.4 版本是這種格式;

配置介紹: sync-info: mode: 取值為 incr 表示增量同步;all 表示全量同步,會將源數據拷貝到目標庫;smart 表示智能同步,會先全量拷貝,再進行增量; record_interval: 讀取了一定量數據,會對 optime 進行更新; record_time_interval: 讀取了一定的時間,會對 optime 進行更新; opt_file: optime 記錄在 該文件中,all 模式在拷貝完更新它,incr, smart 模式不定期更新它; all_dbs: 為 true 表示同步全部的數據庫, 不包括 admin,config,local, 否則同步 dbs; dbs: 需要同步的數據庫集合,以 ',' 分隔,不包括 admin,config,local,也可以只同步 db 的某個 collection,如 test.coll_1;

mongo-src:
    addr: 源地址,可以是一個副本集,也可以是 mongos,如果是 mongos,系統會自動連接到相應的副本集;
    user: 管理員賬號
    pwd: 管理員密碼

mongo-dest:
    addr: 目的地址,可以是一個副本集,也可以是 mongos;
    user: 管理員賬號
    pwd: 管理員密碼

重點說明: 1. 當目的沒有數據庫時和集合時: 會自動創建,包括索引 2. 當源為 mongos 時: 所有副本集的內容會同步過去; 3. 當源為 副本集 時: 所有副本集的內容會同步過去; 4. 增加、刪除、修改 數據命令: OK; 5. 增加、刪除 collection 時: OK; 6. db 級別的操作: 忽略; 7. 同步性能: 取決于網絡帶寬; 8. 容錯能力: 能處理源和目的的網絡異常,系統有容錯處理能力;

運行方式: 控制臺: python src/python/main.py conf/xxx.conf 后臺: python src/python/main.py conf/xxx.conf &

項目主頁:http://www.baiduhome.net/lib/view/home/1417255354081

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!