Apache Hadoop 2.6.0 新特性

jopen 10年前發布 | 7K 次閱讀 Apache Hadoop

Apache Hadoop 2.6.0發布了,新的穩定版,發布頻率和質量越來越高了,增加了很多東西,從安裝包的大小就能看出來,直接增加了50M,30%有木有。

下面看一下,2.6.0都有啥好東西。

Common:

1.      Hadoop Key Management Server(KMS)是一個基于HadoopKeyProvider API編寫的密鑰管理服務器。他提供了一個client和一個server組件,client和server之間基于HTTP協議使用REST API通信。Client是一個KeyProvider的實現,使用KMS HTTP REST API與KMS交互。KMS和它的client有內置的安全機制,支持HTTP SPNEGO Kerberos認證和HTTPS安全傳輸。KMS是一個Java Web應用程序,運行在與Hadoop發行版綁定在一起的預先配置好的Tomcat服務器上。

2.      Tracing

HDFS-5274增加了追蹤通過HDFS的請求的功能,此功能使用了開源的庫,HTrace。大家可以看一下HTrace,功能很強大,Cloudera開源出來的。

HDFS:

1.      Transparent Encryption,HDFS實現了一個透明的,端到端的加密方式。一旦配置了加密,從HDFS讀出數據解密和寫入數據加密的過程對用戶應用程序代碼帶 來說都是透明的。加密過程是端到端的,這意味著數據只能在客戶端被加密解密。HDFS從來不存儲,也不訪問未加密的數據和數據加密密鑰。這樣滿足了加密過 程的兩個典型的需求:at-rest encryption(靜態加密,也就是說,數據持久化在像硬盤這樣的媒介上),in-transit encryption(在途加密,例如,當數據在網絡中傳輸的時候)。

2.      Storage SSD&& Memory。ArchivalStorage(檔案存儲器)是將計算能力與不斷增長的存儲能力分離。擁有高密度低成本的存儲但是計算能力較低的節點將變 得可用,可以在集群中做冷存儲。增加更多的節點作為冷存儲可以提高集群的存儲能力,跟集群的計算能力無關。

MapReduce

這一部分主要是一些bug的修復和改進。增加了兩個新的新特,在2.5.2里已經有所描述了。這里在簡單看一下。

1.      ResourceManger Restart

2.      允許AM發送歷史事件信息到timeline server。

YARN

1.      NodeManager Restart:這個特性可以使NodeManager在不丟失運行在節點中的活動的container的情況下重新啟動。

2.      Docker Container Executor:DockerContainer Executor(DCE)允許YARN NodeManager在Docker container中啟動YARN container。用戶可以指定他們想用來運行YARN container的Docker的鏡像。這些container提供了一個可以自定義的軟件環境,用戶的代碼可以運行在其中,與NodeManager 運行的環境隔離。這些運行用戶代碼的container可以包含應用程序需要的特定的庫,它們可以擁有與NodeManager不同版本的 Perl,Python甚至是Java。事實上,這些container可以運行與NodeManager所在的OS不同版本的Linux。盡管YARN container必須定義運行Job所需的所有的環境和庫,但是NodeManager中的所有的東西都不會共享。

Docer為YARN提供了一致和隔離兩種模式,一致模式下,所有的YARN container將擁有相同的軟件環境,在隔離模式下,不管物理機器安裝了什么都不干擾。

來自:http://blog.csdn.net/xichenguan/article/details/41745557

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!