分布式文件系統 Kosmos File System

KFS,Kosmos File System分布式文件系統有著高性能,可用性和可靠性等特點。它的目的是用來作為后端的存儲基礎設施,密集型數據應用,如搜索引擎,數據挖掘,網格計算等。

功能和特點
增量的可擴展性:存儲需求可對節點增加,系統會自動適應新的節點。
可利用性:復制是用來提高可用性。通常情況下,文件復制有3種方式。
每個文件的復制程度:在一定程度的復制配置,最大限制為64。
機架數據放置:數據在不同的塊架上。
重新平衡:每隔一段時間,中繼服務器可以平衡塊之間。這樣做是為了幫助平衡的磁盤空間之間節點的利用率。
數據完整性:為了處理硬盤損壞的數據塊,校驗核查所做的每一個閱讀,每當有一個校驗和不匹配,再復制是用來恢復損壞的塊。
文件寫入:該系統遵循的標準模式。當應用程序創建一個文件,文件名變成部分文件的命名空間。
緩存:客戶端庫使用緩存以提高性能。用于支持高速緩存的一致性。
塊的版本:版本是用來探測陳舊塊。
用戶端故障轉移:如果客戶端庫確定無法訪問,客戶端庫將故障轉移。
語言支持:可用C++,Java和Python訪問客戶端庫。
工具:包含了一系列新的工具。這可以讓用戶使用命令瀏覽文件系統,如cp, ls, mkdir, rmdir, rm, mv。
本地閱讀優化:當應用程序運行在同一節點是包含一個優化的本地讀取數據。

項目主頁:http://www.baiduhome.net/lib/view/home/1338996430094

 本文由用戶 openkk 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!