教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

問答>python+大數(shù)據(jù)開發(fā)>applicationmaster是什么?

applicationmaster是什么?

來源傳智教育2022年06月28日 14時52分33秒

  用戶提交的每個應(yīng)用程序都包含一個ApplicationMaster,它負責協(xié)調(diào)來自ResourceManager的資源,把獲得的資源分配給內(nèi)部的各個任務(wù),從而實現(xiàn)“二次分配”。除此之外,ApplicationMaster還會通過NodeManager監(jiān)控容器的執(zhí)行和資源使用情況,并在任務(wù)運行失敗時重新為任務(wù)申請資源以重啟任務(wù)。當前的YARN自帶了兩個ApplicationMaster的實現(xiàn),一個是用于演示ApplicationMaster編寫方法的實例程序DistributedShell,它可以申請一定數(shù)目的Container以并行方式運行一個Shell命令或者Shell腳本;另一個則是運行MapReduce應(yīng)用程序的ApplicationMaster-MRAppMaster。

  需要注意的是,ResourceManager負責監(jiān)控ApplicationMaster, 并在ApplicationMaster運行失敗的時候重啟,大大提高集群的拓展性。ResourceManager不負責ApplicationMaster內(nèi)部任務(wù)的容錯,任務(wù)的容錯由ApplicationMaster完成,總體來說,ApplicationMaster的主要功能是資源的調(diào)度、監(jiān)控與容錯。

和我們在線交談!