Hadoop作業調度管理系統 - Corona
Corona,這是 非死book 用來調度和管理大規模 Hadoop 作業的系統。
Corona 是 Map-Reduce 的改進版本,可以更好地利用集群資源,更適合 非死book 的“多租戶(Multi-Tenant)”環境。
在 非死book,Map-Reduce 有一個單一的作業跟蹤器(JobTracker),用來管理集群資源和跟蹤每個作業的狀態。而使用 Corona,集群資源通過一個中央集群管理器來跟蹤,每個作業都有自己的跟蹤器,這些跟蹤器只需跟蹤一個作業。
Corona 在 Map-Reduce 的基礎上進行了如下改進:
- 可擴展性:單獨的 Corona JobTrackers 來負責任務的跟蹤,這為作業的數量和規模提供了更好的擴展性。
- 延遲:任務調度工作在 push 模型中。Corona Job Tracker 推送資源請求到 Cluster Manager,然后在收到 Cluster Manager 的許可后,推送任務到 Corona Task Tracker。這種調度決策是在收到 heartbeats 時發生,對于小的作業來說,heartbeat 模型相關的延遲就變得重要。
- 與 Map-Reduce v1 相比,Corona 中的 Fair Scheduler 能更好地分配資源到資源池中。
- 由于調度開銷較低,集群可以得到更好的利用。 </ul>
項目地址:https://github.com/非死book/hadoop-20/tree/master/src/contrib/corona
來自: www.iteye.com
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!