爬蟲，幾家歡喜幾人愁。爬者，拿到有利數據，分析行為，產生價值。被爬者，一是損失數據，二是遇到不懷好意的爬蟲往往被全站復制或服務器受沖擊而無法服務。今天說的是一只友好的爬蟲是如何構建出來的，請勿用它傷害他人。

Web緩存核心技術點需知

路由是什么呢？路由即是網絡數據包在網絡中的傳輸路徑，或者說數據包在傳輸過程中所經過的網絡節點，比如路由器，代理服務器之類的。

代理服務器是HTTP協議中一個重要的組件，發揮著重要的作用。 關于HTTP代理的文章有很多，本文不再贅述，如果不清楚的可以看一下HTTP代理的基礎知識。