存儲系統設計中的二八定律

二八定律又名帕累托法則、不平衡原則等，它是一種不均勻分布的理論，已被廣泛應用于社會學、企業管理學以及經濟學中。同樣，該定律也適應于計算機科學領域，如應用負載、磁盤訪問、存儲系統設計等也都是不均勻的隨機分布。近日，存儲服務初創公司Coho Data的聯合創始人兼CTO Andy Warfield發表了一篇關于在存儲系統設計中二八定律應用的博文。在博文中，Andy Warfield對二八定律進行了介紹，并指出非死book為大規模的應用程序而設計的存儲系統也利用了這種原理。

Andy Warfield指出他們首先對最近11個開發者的臺式機存儲數據進行了為期一年的跟蹤記錄，這些記錄包括大概76億次的IO操作和在5TB存儲數據上進 行的超過28TB傳輸量。Andy通過初始容量與時間比例分析發現，這些數據很不均勻，如11臺臺式機上共存儲有5.1TB的數據，這其中還有 627GB（大約21%）的數據在一個月內很少被訪問,3.1TB的數據在整整一年中沒有被訪問,如下圖所示：

通過以上分析結果圖，Andy還得出了以下兩個新觀點：

首先，使用LRU（最近最少使用算法）作為一個填充快速內存的模型能夠估算來自服務（或緩存）的請求比例。另外，隨著將快速存儲介質添加到系統中，訪問命中率也在增長。

其次，通過該圖還可以計算出基于訪問的標準成本，而不是基于每GB的存儲成本。伴隨著緩存的不停增加，訪問命中率卻在下降。要實現100%的命中率所花費的金錢是最初使用最小高速緩存而實現35%命中率所花費的11倍多。因此，數據訪問的成本將會變得更加昂貴。

關于如何解決分布不均勻的問題，Andy認為不應該把資金花費在提高冷數據的訪問性能上，而應該將資金花費在如何提高熱數據的訪問性能上。

Andy認為當前的存儲領域也發生了巨大變化，固態存儲已不單單有SATA/SAS SSD、PCIe/NVMe和NVDIMM三種選擇，且每個選擇的成本和性能都有很大的差別。因此，即使沒有磁盤，存儲系統仍需要混合介質，只有通過混合 形式才可以實現高性能與卓越的價值。一個混合存儲系統仍然需要使用磁盤，且應該把熱數據存儲在高性能的內存中。同樣，一個全閃存陣列AFA可能由三個甚至 更多不同類型的混合存儲介質。為了最大程度地提高混合存儲的性能，Andy還研究了一個新算法。

最后，Andy還指出不均勻分布的廣泛性以及正因為二八定律才使得系統設計能夠服務于最受關注的事物上（如高速公路和農村公路、核心互聯網路由器、 中心城市交通運輸系統等的設計），并提供高性能的服務。對于存儲系統的設計也不例外，構建存儲系統尤其需要細心地對工作負載進行響應式分析，以確定存儲規 模并滿足實際應用的需要。

來自：http://www.infoq.com/cn/news/2015/01/storage-system-design