集群服務器三種作業調度器的區別?
Hadoop集群中有三種作業調度算法,分別為FIFO,公平調度算法和計算能力調度算法。
1、先來先服務(FIFO)
Hadoop中默認的調度器FIFO,它先按照作業的優先級高低,再按照到達時間的先后選擇被執行的作業。
2、公平調度策略
這種策略在系統中配置了任務槽,一個任務槽可以運行一個task任務,這些任務就是一個大的作業被切分后的小作業。當一個用戶提交多個作業時,每個作業可以分配到一定的任務槽以執行task任務(這里的任務槽可以理解為可以運行一個map任務或reduce任務)。
3、計算能力調度
計算能力調度和公平調度有點類似,公平調度策略是以作業池為單位分配任務槽,而計算能力調度是以隊列為單位分配tasktracker(集群中一個節點),這種調度策略配置了多個隊列,每個隊列配置了最小額度的tasktracker數量,同公平調度策略類似,當一個隊列有空閑的tasktracker時,調度器會將空閑的分配給其他的隊列。