共享集群模式有什么優(yōu)點(diǎn)?
共享集群模式Spark on Yarn 模式優(yōu)點(diǎn)
1)與其他計(jì)算框架共享集群資源(eg.Spark框架與MapReduce框架同時(shí)運(yùn)行,如果不用Yarn進(jìn)行資源分配,MapReduce分到的內(nèi)存資源會(huì)很少,效率低下);資源按需分配,進(jìn)而提高集群資源利用等。
2)相較于Spark自帶的Standalone模式,Yarn的資源分配更加細(xì)致
3)Application部署簡(jiǎn)化,例如Spark,Storm等多種框架的應(yīng)用由客戶端提交后,由Yarn負(fù)責(zé)資源的管理和調(diào)度,利用Container作為資源隔離的單位,以它為單位去使用內(nèi)存,cpu等。
4)Yarn通過隊(duì)列的方式,管理同時(shí)運(yùn)行在Yarn集群中的多個(gè)服務(wù),可根據(jù)不同類型的應(yīng)用程序負(fù)載情況,調(diào)整對(duì)應(yīng)的資源使用量,實(shí)現(xiàn)資源彈性管理。