Apache Hadoop 2.0 Alpha 版發布
Apache Hadoop 社區近日發布了最新的 Apache Hadoop 2.0 Alpha 版本,這標志著 Apache Hadoop 進入了一個新的分支。
Hadoop 是 Apache 的頂級開源項目,由前雅虎開發者 Doug Cutting(也是 Nutch 和 Lucene 的創始人)開發的分布式計算平臺,是一個能夠對大量數據進行分布式處理的框架。用戶可以在不了解分布式底層細節的情況下開發分布式程序,充分利用集群的威力高速運算和存儲。
該版本提供了一些新的、重要的功能,包括:
- HDFS HA,當前只能實現人工切換。
- YARN,下一代 MapReduce 這是一套資源統一管理和調度平臺,可管理各種計算框架,包括 MapReduce、Spark、MPI 等。
- HDFS Federation,允許 HDFS 中存在多個 NameNode,且每個 NameNode 分管一部分目錄,而 DataNode 不變,進而縮小了故障帶來的影響范圍,并起到一定的隔離作用。
- 基準性能測試
- 通過 protobufs 來提供 HDFS 和 YARN 的兼容性
除了以上這些功能外,還有一些來自社區的改進,包括 HDFS 快照和 HA NameNode 自動切換等。
需要注意的是,該版本還處于 Alpha 階段,部分功能還在部署中,不可用于實際生產。
文檔:http://hadoop.apache.org/common/docs/r2.0.0-alpha/
下載地址:http://hadoop.apache.org/common/releases.html
來自:
www.iteye.com
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!