Apache Hadoop 2.6.0 新特性
Apache Hadoop 2.6.0發布了,新的穩定版,發布頻率和質量越來越高了,增加了很多東西,從安裝包的大小就能看出來,直接增加了50M,30%有木有。
下面看一下,2.6.0都有啥好東西。
Common:
1. Hadoop Key Management Server(KMS)是一個基于HadoopKeyProvider API編寫的密鑰管理服務器。他提供了一個client和一個server組件,client和server之間基于HTTP協議使用REST API通信。Client是一個KeyProvider的實現,使用KMS HTTP REST API與KMS交互。KMS和它的client有內置的安全機制,支持HTTP SPNEGO Kerberos認證和HTTPS安全傳輸。KMS是一個Java Web應用程序,運行在與Hadoop發行版綁定在一起的預先配置好的Tomcat服務器上。
2. Tracing
HDFS-5274增加了追蹤通過HDFS的請求的功能,此功能使用了開源的庫,HTrace。大家可以看一下HTrace,功能很強大,Cloudera開源出來的。
HDFS:
1. Transparent Encryption,HDFS實現了一個透明的,端到端的加密方式。一旦配置了加密,從HDFS讀出數據解密和寫入數據加密的過程對用戶應用程序代碼帶 來說都是透明的。加密過程是端到端的,這意味著數據只能在客戶端被加密解密。HDFS從來不存儲,也不訪問未加密的數據和數據加密密鑰。這樣滿足了加密過 程的兩個典型的需求:at-rest encryption(靜態加密,也就是說,數據持久化在像硬盤這樣的媒介上),in-transit encryption(在途加密,例如,當數據在網絡中傳輸的時候)。
2. Storage SSD&& Memory。ArchivalStorage(檔案存儲器)是將計算能力與不斷增長的存儲能力分離。擁有高密度低成本的存儲但是計算能力較低的節點將變 得可用,可以在集群中做冷存儲。增加更多的節點作為冷存儲可以提高集群的存儲能力,跟集群的計算能力無關。
MapReduce
這一部分主要是一些bug的修復和改進。增加了兩個新的新特,在2.5.2里已經有所描述了。這里在簡單看一下。
1. ResourceManger Restart
2. 允許AM發送歷史事件信息到timeline server。
YARN
1. NodeManager Restart:這個特性可以使NodeManager在不丟失運行在節點中的活動的container的情況下重新啟動。
2. Docker Container Executor:DockerContainer Executor(DCE)允許YARN NodeManager在Docker container中啟動YARN container。用戶可以指定他們想用來運行YARN container的Docker的鏡像。這些container提供了一個可以自定義的軟件環境,用戶的代碼可以運行在其中,與NodeManager 運行的環境隔離。這些運行用戶代碼的container可以包含應用程序需要的特定的庫,它們可以擁有與NodeManager不同版本的 Perl,Python甚至是Java。事實上,這些container可以運行與NodeManager所在的OS不同版本的Linux。盡管YARN container必須定義運行Job所需的所有的環境和庫,但是NodeManager中的所有的東西都不會共享。
Docer為YARN提供了一致和隔離兩種模式,一致模式下,所有的YARN container將擁有相同的軟件環境,在隔離模式下,不管物理機器安裝了什么都不干擾。
來自:http://blog.csdn.net/xichenguan/article/details/41745557