HDFS 進化,Hadoop 即將擁抱對象存儲?

jopen 10年前發布 | 11K 次閱讀 Hadoop

Hortonworks在博客中提出了一個全新的Hadoop對象存儲環境——Ozone,能將HDFS從文件系統擴展成更加復雜的企業級存儲層。

Hadoop社區的一些成員今日提議為Hadoop增加一個新的對象存儲環境,這樣一來Hadoop就能以與亞馬遜S3、微軟Azure以及OpenStack Swift等云存儲服務一樣的方式去存儲數據。

Hadoop發行商Hortonworks本周二在官網發博文指 出,隨著越來越多的企業采用Apache Hadoop,Hadoop已經成了各種企業數據的“數據湖”(Data Lake),其中很多適合大數據分析應用的數據類型非常適合采用HDFS,但是在某些行業應用案例中HDFS又難以勝任,這就需要擴展Hadoop的存儲 維度。例如,對象存儲或Key-Value存儲具備Hadoop HDFS的可靠性、一致性和可用性,但對語法、API和可擴展性的要求不同,Hadoop的存儲系統需要向多面手進化,以適應新的存儲應用需求。

HDFS 進化,Hadoop 即將擁抱對象存儲?

不同行業大數據分析涉及的數據類型  數據來源:Hortonworks

Hortonworks 在博客中提出了一個全新的Hadoop對象存儲環境——Ozone,能將HDFS從文件系統擴展成更加復雜的企業級存儲層。 (編者按:雖然Hadoop已經支持第三方對象數據存儲,例如亞馬遜S3云和數據中心里的OpenStack Swift,但是Hadoop原生的對象存儲功能對于希望將Hadoop作為未來應用存儲層的開發者來說依然非常有價值。)

過去,HDFS 架構將元數據管理與數據存儲層分離成兩個相互獨立的層。文件數據存儲在包含有上千個存儲服務器(節點)的存儲層,而元數據存儲在文件 元數據層——一個數量相對少些的服務器群(名稱節點)。HDFS這種分離方式使得應用直接從存儲磁盤讀寫數據時能夠獲得很高的吞吐量擴展空間。

HDFS 進化,Hadoop 即將擁抱對象存儲?

Ozone 使得HDFS塊存儲層能夠進一步支持非文件性質的系統數據,而HDFS的文件塊架構也將能夠支持存儲鍵值和對象。與HDFS的名稱空間元 數據類似,Ozone的元數據系統也基于塊存儲層,但是Ozone的元數據將被動態分配,支持大量的bucket space。(上圖)

Hortonworks認為HDFS將自然進化成一個完整的企業大數據存儲系統,而Ozone也將以Apache項目(HDFS-7240)的方式開源。

Hortonworks給Ozone規劃了以下幾個目標:

  • 可擴展支持數以萬億的數據對象。

  • 廣泛支持各種對象大小,從幾KB到幾十兆。

  • 保證不低于HDFS的可靠性、一致性和可用性。

  • 基于HDFS的數據塊層。

  • 提供基于REST的API來訪問和操作數據。

  • 為獲取更高的可用性,能支持數據中心間的數據復制。

  • </ul> 來自 IT經理網

     本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
     轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
     本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!