hadoop 2.7.0版本發布

jopen 9年前發布 | 7K 次閱讀 Hadoop

adoop 2.7.0已經發布,在這個版本中 ,包含幾個非常重要的功能。

【重要聲明】

(1)從這個版本開始,JDK必須是JDK 7+,JDK 6以及更低版本不再支持;

(2)hadoop 2.7.0是測試版本,不能在生產環境中使用。

1. Hadoop Common

支持Windows Azure存儲—以blob作為文件系統

2. Hadoop HDFS

(1)支持truncate操作,相當于回滾操作。

(2)支持為每種存儲類型設置quota(注:HDFS已經支持異構存儲系統,比如同時存在磁盤,SSD,flash,內存等存儲介質)

(3)支持文件存在不同block大小。用戶在往HDFS中append數據時,可選擇直接將數據append到當前block末尾,也可以選擇 append到一個新的block中,這可通過向{{append}} API傳入{{CreateFlag.APPEND}}和{{CreateFlag.NEW_BLOCK}}標志位實現。

3. Hadoop YARN

(1)YARN的授權模塊變成插拔式的,用戶可根據需要編寫授權模塊;

(2) 對DistributedCache功能增強,DistributedCache模塊擁有獨立的服務,可以獨立升級,也可以通過命令顯式地預先cache文件。

4. Hadoop MapReduce

(1)允許用戶設置每個job可同時運行的map task和reduce task數目。這個功能非常實用,相信很多公司一直想要這個feature。用戶可通過以下兩個參數控制同時運行的task數目:

mapreduce.job.running.map.limit (default: 0, for no limit)

mapreduce.job.running.reduce.limit (default: 0, for no limit)

(2)當最終輸出產生的文件數目非常多時,加速FileOutputCommitter組件處理速度。

原創文章,轉載請注明: 轉載自董的博客

本文鏈接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-2-7-0-release/

作者:Dong,作者介紹:http://dongxicheng.org/about/

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!