Hadoop作業調度管理系統 - Corona

jopen 12年前發布 | 17K 次閱讀 Hadoop 分布式/云計算/大數據

        Corona,這是 非死book 用來調度和管理大規模 Hadoop 作業的系統。

        Corona 是 Map-Reduce 的改進版本,可以更好地利用集群資源,更適合 非死book 的“多租戶(Multi-Tenant)”環境。

        在 非死book,Map-Reduce 有一個單一的作業跟蹤器(JobTracker),用來管理集群資源和跟蹤每個作業的狀態。而使用 Corona,集群資源通過一個中央集群管理器來跟蹤,每個作業都有自己的跟蹤器,這些跟蹤器只需跟蹤一個作業。

Hadoop作業調度管理系統:Corona

        Corona 在 Map-Reduce 的基礎上進行了如下改進:

  • 可擴展性:單獨的 Corona JobTrackers 來負責任務的跟蹤,這為作業的數量和規模提供了更好的擴展性。
  • 延遲:任務調度工作在 push 模型中。Corona Job Tracker 推送資源請求到 Cluster Manager,然后在收到 Cluster Manager 的許可后,推送任務到 Corona Task Tracker。這種調度決策是在收到 heartbeats 時發生,對于小的作業來說,heartbeat 模型相關的延遲就變得重要。
  • 與 Map-Reduce v1 相比,Corona 中的 Fair Scheduler 能更好地分配資源到資源池中。
  • 由于調度開銷較低,集群可以得到更好的利用。
  • </ul>

            項目地址https://github.com/非死book/hadoop-20/tree/master/src/contrib/corona

    來自: www.iteye.com
 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!