HTTP 資源的同步
原文 http://jaseywang.me/2015/03/07/http-資源的同步/
breed 為 yum, deb, rsync 的都很好做，直接通過 cobbler 內置的 repo 同步很快就可以完成，即使沒有 cobbler，一個腳本也能搞定，比如我們線上 Ubuntu 12.04 的就是通過 debmirror 的方式同步完成的。
但是對于 HTTP 的方式，我找了一圈沒有找到很好的方式，最初我是使用的 wget，發現效率太低，后來有推友推薦使用 lftp，使用之后發現果真是半個神器，雖然達不到 rsync 那樣的智能的增量，但是對于更新的不是那么頻繁的資源的同步也基本能夠滿足要求了。
最初是寫了一個 expect 腳本上去跑，后來發現還有 non-interactive 的方式，-c/-f 都可以，放到 cron 里面確實很方便:
$ cat lftp.txt
open http://maven.twttr.com
mirror -c -n –parallel=10 ./ ~/resources/maven
quit
$ lftp -f lftp.txt
除了上面這個問題還有個幾年內無法突破的問題，方院士，自己的 PC 遇到，服務器自然也會遇到，同步到本地一是出于上面的考慮，另外一點還是為了節省帶寬以及其他的機器資源消耗。目前專門有一臺 VPS 供我們線上使用，在線上搞了一個 proxy，實現的方式太多了(shadowsocks + polipo)，具體的就不說了，提供 http, https 的方式，基本能滿足目前的需求了。
本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！