問答>python+大數(shù)據(jù)開發(fā)>hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?
hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?
來源傳智教育2022年06月29日 14時(shí)39分35秒
Hadoop2.x版本為了克服Hadoop1.x中的不足,對其架構(gòu)進(jìn)行了以下改進(jìn):
(1)Hadoop2.x可以同時(shí)啟動(dòng)多個(gè)NameNode,其中一個(gè)處于工作(Active)狀態(tài),另一個(gè)處于隨時(shí)待命(Standby)狀態(tài),這種機(jī)制被稱為Hadoop HA(Hadoop高可用)。當(dāng)一個(gè)NameNode所在的服務(wù)器宕機(jī)時(shí),可以在數(shù)據(jù)不丟失的情況下,自動(dòng)切換到另一個(gè)NameNode持續(xù)提供服務(wù)。
(2)Hadoop2.x將JobTracker中的資源管理和作業(yè)控制分開,分別由ResourceManager(負(fù)責(zé)所有應(yīng)用程序的資源分配)和ApplicationMaster(負(fù)責(zé)管理一個(gè)應(yīng)用程序)實(shí)現(xiàn),即引入了資源管理框架YARN,它是一個(gè)通用的資源管理框架,可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度,不僅限于MapReduce一種框架,也可以為其他框架使用,如Tez、Spark、Storm,這種設(shè)計(jì)不僅能夠增強(qiáng)不同計(jì)算模型和各種應(yīng)用之間的交互,使集群資源得到高效利用,而且能更好地與企業(yè)中已經(jīng)存在的計(jì)算結(jié)構(gòu)集成在一起。
(3)Hadoop2.x中的MapReduce是運(yùn)行在YARN上的離線處理框架,它的運(yùn)行環(huán)境不再由JobTracker和TaskTracker等服務(wù)組成,而是變成通用資源管理YARN和作業(yè)控制進(jìn)程ApplicationMaster,從而使MapReduce在速度上和可用性上都有很大的提高。
最新問答
- 2022年06月30日黑盒測試與白盒測試的區(qū)別是啥?
- 2022年06月30日Hive的安裝模式有幾種?
- 2022年06月29日Flume系統(tǒng)要求是什么?
- 2022年06月29日數(shù)據(jù)發(fā)布與訂閱有哪些主要應(yīng)用場景?
- 2022年06月29日Zookeeper集群角色有哪三種?
- 2022年06月29日hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?
- 2022年06月28日znode有哪兩種節(jié)點(diǎn)?
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日applicationmaster是什么?
- 2022年06月28日yarn的工作流程是什么?
相關(guān)問答
- 2022年06月29日Zookeeper集群角色有哪三種?
- 2022年06月28日znode有哪兩種節(jié)點(diǎn)?
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日applicationmaster是什么?
- 2022年06月28日yarn的工作流程是什么?
- 2022年06月23日matplotlib繪制的圖形是只有一種結(jié)構(gòu)嗎?
- 2022年06月23日如何使用matplotlib繪圖?
- 2022年06月21日學(xué)歷低可以學(xué)Python嗎?
- 2022年06月21日培訓(xùn)機(jī)構(gòu)學(xué)Python怎么樣?
- 2022年06月20日python培訓(xùn)班學(xué)習(xí)完可以找到工作嗎?