hadoop 2.7.0版本發布
adoop 2.7.0已經發布,在這個版本中 ,包含幾個非常重要的功能。
【重要聲明】
(1)從這個版本開始,JDK必須是JDK 7+,JDK 6以及更低版本不再支持;
(2)hadoop 2.7.0是測試版本,不能在生產環境中使用。
1. Hadoop Common
支持Windows Azure存儲—以blob作為文件系統
2. Hadoop HDFS
(1)支持truncate操作,相當于回滾操作。
(2)支持為每種存儲類型設置quota(注:HDFS已經支持異構存儲系統,比如同時存在磁盤,SSD,flash,內存等存儲介質)
(3)支持文件存在不同block大小。用戶在往HDFS中append數據時,可選擇直接將數據append到當前block末尾,也可以選擇 append到一個新的block中,這可通過向{{append}} API傳入{{CreateFlag.APPEND}}和{{CreateFlag.NEW_BLOCK}}標志位實現。
3. Hadoop YARN
(1)YARN的授權模塊變成插拔式的,用戶可根據需要編寫授權模塊;
(2) 對DistributedCache功能增強,DistributedCache模塊擁有獨立的服務,可以獨立升級,也可以通過命令顯式地預先cache文件。
4. Hadoop MapReduce
(1)允許用戶設置每個job可同時運行的map task和reduce task數目。這個功能非常實用,相信很多公司一直想要這個feature。用戶可通過以下兩個參數控制同時運行的task數目:
mapreduce.job.running.map.limit (default: 0, for no limit)
mapreduce.job.running.reduce.limit (default: 0, for no limit)
(2)當最終輸出產生的文件數目非常多時,加速FileOutputCommitter組件處理速度。
原創文章,轉載請注明: 轉載自董的博客
本文鏈接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-2-7-0-release/
作者:Dong,作者介紹:http://dongxicheng.org/about/