hadoop調度算法

jopen 8年前發布 | 10K 次閱讀 Hadoop 分布式/云計算/大數據

1 hadoop目前支持以下三種調度器：

FifoScheduler：最簡單的調度器，按照先進先出的方式處理應用。只有一個隊列可提交應用，所有用戶提交到這個隊列。沒有應用優先級可以配置。

CapacityScheduler：可以看作是FifoScheduler的多隊列版本。每個隊列可以限制資源使用量。但是，隊列間的資源分配以使用量作排列依據，使得容量小的隊列有競爭優勢。集群整體吞吐較大。延遲調度機制使得應用可以放棄跨機器或者跨機架的調度機會，爭取本地調度。

詳情見官網 http://hadoop.apache.org/docs/r1.2.1/capacity_scheduler.html

FairScheduler：多隊列，多用戶共享資源。特有的客戶端創建隊列的特性，使得權限控制不太完美。根據隊列設定的最小共享量或者權重等參數，按比例共享資源。延遲調度機制跟CapacityScheduler的目的類似，但是實現方式稍有不同。資源搶占特性，是指調度器能夠依據公平資源共享算法，計算每個隊列應得的資源，將超額資源的隊列的部分容器釋放掉的特性。

詳情見官網 http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html

2 比較: