圖片集群分布式存儲和負載均衡

今天記錄下圖片的分布式存儲和負載均衡實現原理。

對于Web服務器而言，用戶對圖片信息的訪問是很消耗服務器資源的。當一個網頁被瀏覽時,Web服務器與瀏覽器建立連接,每個連接表示一個并發。 當頁面包含多個圖片時,Web服務器與瀏覽器會產生多個連接,同時發送文字和圖片以提高瀏覽速度。因此,頁面中圖片越多Web服務器受到的壓力也就越大。

一般小型網站是把所有頁面和圖片統一存放在一個主目錄下,這樣的網站對系統架構、性能要求都很簡單。下面是原理圖

一些稍有規模的網站都保存有大量圖片資源。用戶在訪問這些站點網頁時,網頁中圖片信息占到頁面數據流量的大部分。由于受客戶端瀏覽器限制,無法從 一臺服務器上同時下載頁面中所有圖片信息,因此即使服務器有很高帶寬,用戶的訪問速度還是會受到很大影響。由于圖片保存在物理硬盤上,訪問圖片需要頻繁進 行I/O 操作,因此當并發用戶數越來越多時,I/O操作就會成為整個系統的性能瓶頸。這個時候我們就要考慮把這些圖片信息進行分布式存儲了。

下面說一個適用于中等規模商務網站的圖片數據分布式動態存儲及負載均衡的解決方案的思路。這種思想只需增加很少的硬件成本,即可提升網站的訪問速 度,并且可以根據需要動態調整圖片服務器的數量及圖片的存儲目錄,確保系統具有可擴展性和伸縮性。但對于大型的網站系統來說，他們可能會有更好的技術來實 現數據的分布式存儲。

Web服務器部署網站的Web頁面,用于響應客戶端用戶的請求。當用戶瀏覽網頁時,Web服務器響應請求并訪問數據庫服務器,獲得網頁中所有圖片的URL 路徑,然后生成頁面并返回給客戶端,客戶端接收該頁面并根據頁面中的圖片URL路徑自動從不同的圖片服務器下載并顯示相應圖片。當用戶上傳圖片時,Web 服務器首先從數據庫服務器中獲取所有圖片服務器的當前狀態, 并根據相關算法選擇一個圖片服務器及保存的目錄,再調用該圖片服務器的Web Service方法把圖片保存到該服務器 ,最后在數據庫服務器中紀錄該圖片的編號及URL路徑等信息。數據庫服務器用于記錄所有圖片的編號以及圖片的存放位置等信息,同時需要記錄所有圖片服務器的配置及當前狀態信息。圖片服務器集群用于存放網站的所有圖片信息,該集群的服務器數量可以根據需要動態增加。

圖片服務器信息表

Web服務器需要及時掌握所有圖片服務器的狀態和信息才能動態決定把圖片保存到哪一臺圖片服務器,因此,需要把所有 的圖片服務器的狀態信息全部紀錄到數據庫服務器中, 狀態信息表中的ServerId字段為主鍵自增列,唯一代表一條圖片服務器紀錄。ServerName字段記錄服務器的名稱,方便管理員識別該記錄代表哪 臺服務器。ServerUrl字段標識了圖片服務器上圖片主目錄的URL根路徑。PicRootPath字段標識了保存圖片的物理主目錄。 MaxPicAmount字段表示圖片服務器能保存的最大圖片數,該數可以根據圖片服務器的硬件配置和性能以及用戶實際需要而進行動態調整。 CurPicAmount字段表示當前已保存的圖片數,當CurPicAmount≥MaxPicAmount時系統將不再把圖片上傳到該服務器。 FlgUsable字段表示圖片服務器是否可用。

把圖片保存到圖片服務器上

      可以在圖片服務器上部署相應的服務，實現方式有web service、WCF、webclient類，共享文件等等。

獲取圖片服務器的隨機算法