非死book使用Corona提升Hadoop的可伸縮性
英文原文：Corona Improves Hadoop Scalability At 非死book
非死book 已經開源了 Corona，這是一款內部開發的用以改善 Hadoop MapReduce 調度的軟件。
Corona 將集群管理和作業跟蹤這兩個關鍵任務分開。這與 Apache YARN 在概念上不謀而合，YARN 也是 MapReduce 調度器和資源管理器的一個改進版本。非死book 的工程團隊發表了一篇文章來解釋 Corna 及其背景。他們同時也解釋了為什么沒有采用 YARN——
“值得注意的是，我們曾經考慮過將 Apache YARN 作為 Corona 的一種替代方案。然而，在調研了 YARN 在我們的 HDFS 版本（由于我們海量的 PB 級數據存儲而產生的強烈需求）上的使用情況后，我們發現了很多不兼容問題，修復的時間成本過高，而且存在風險。此外，YARN 能否適應 非死book 規模的負載也是個未知數。”
</blockquote>非死book 的 Hadoop 版本一個主要不同是 AvatarNode，它會為集群中的每個結點創建一個熱備份。這就創建了高可用的 NameNode，甚至允許非停機條件下進行軟件升級。非死book 的數據倉庫當前需要處理成百上千 PB 數據，而且每天還要新增0.5PB ，這對他們是非常關鍵的。
Corona 當前能夠運行 MapReduce 作業，但 非死book 打算將其用于來自其他類型應用（比如 Peregrine）的調度作業。
Apache Hadoop 是一組支持大規模分布式計算的項目集。讀者可以參考 InfoQ 上的 Hadoop 相關資源。
來自: InfoQ本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！