Hadoop v2 時代正式到來
Apache 基金會近日正式發布了 Hadoop 2.2 版本,該版本是 Hadoop 2.x 分支中的首個穩定版本(2.0.x 為 alpha 版本,2.1.x 為 beta 版本),標志著 Hadoop 2 時代的正式到來。
Apache 建議用戶升級至最新版本,因為這個版本更加穩定,并保持與之前版本 API 和相關協議條款的兼容。與 Hadoop 1.x 相比,Hadoop 2 的主要亮點如下:
- 新的 Hadoop MapReduce 框架 YARN
- HDFS 高可用性
- HDFS Federation(HDFS 聯盟):使得 HDFS 支持多個命名空間,并且允許在 HDFS 中同時存在多個 Name Node
- HDFS 快照
- NFSv3 可訪問 HDFS 中的數據
- 支持在 Windows 平臺上運行 Hadoop
- 兼容基于 Hadoop 1.x 構建的 MapReduce 應用
- 大量針對生態系統中其他項目的集成測試 </ul>
- HDFS 社區建議將 symlinks 功能從 2.3 版本中移除,目前該功能已停用
- 在新的 YARN/MapReduce 中,用戶需要更改 ShuffleHandler 服務名稱——需要將 mapreduce.shuffle 改為 mapreduce_shuffle </ul>
此外,從 Hadoop 1.x 升級到 2.2 需要注意以下事情:
詳細信息:Hadoop 2.2.0 發行說明
來自: www.iteye.com
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!