ClouderaManager指的是什么？有哪些功能？

更新時(shí)間:2021年12月08日14時(shí)58分來(lái)源:傳智教育瀏覽次數(shù):

Cloudera Manager是用于管理CDH群集的端到端應(yīng)用程序。Cloudera Manager通過(guò)對(duì)CDH集群的每個(gè)部分提供細(xì)粒度的可視性和控制來(lái)設(shè)置企業(yè)部署的標(biāo)準(zhǔn)，使運(yùn)營(yíng)商能夠提高性能，提高服務(wù)質(zhì)量，提高合規(guī)性并降低管理成本。

使用Cloudera Manager，可以輕松部署和集中操作完整的CDH堆棧和其他托管服務(wù)(Hadoop、Spark、Kudu、Impala)。其特點(diǎn)：應(yīng)用程序的安裝過(guò)程自動(dòng)化，將部署時(shí)間從幾周縮短到幾分鐘; 并提供運(yùn)行主機(jī)和服務(wù)的集群范圍的實(shí)時(shí)監(jiān)控視圖; 提供單個(gè)中央控制臺(tái)，以在整個(gè)群集中實(shí)施配置更改; 并集成了全套的報(bào)告和診斷工具，可幫助您優(yōu)化性能和利用率。

Cloudera Manager的核心是Cloudera Manager Server。提供了統(tǒng)一的UI和API方便用戶和集群上的CDH以及其它服務(wù)進(jìn)行交互，并實(shí)施監(jiān)控和診斷等。

CM Server還負(fù)責(zé)安裝配置CDH和其相關(guān)的服務(wù)軟件，啟動(dòng)停止服務(wù)，維護(hù)集群中各個(gè)節(jié)點(diǎn)服務(wù)器以及上面運(yùn)行的進(jìn)程。

Agent：安裝在每臺(tái)主機(jī)上。它負(fù)責(zé)啟動(dòng)和停止進(jìn)程，解壓縮配置，觸發(fā)安裝和監(jiān)控主機(jī)

Management Service：執(zhí)行各種監(jiān)控、報(bào)警和報(bào)告功能的一組角色的服務(wù)。

Database：存儲(chǔ)配置和監(jiān)控信息

Cloudera Repository：可供Cloudera Manager分配的軟件的存儲(chǔ)庫(kù)

Client：用于與服務(wù)器進(jìn)行交互的接口

Admin Console：管理員控制臺(tái)

API：開發(fā)人員使用 API可以創(chuàng)建自定義的Cloudera Manager應(yīng)用程序

ClouderaManager功能

信號(hào)檢測(cè)

默認(rèn)情況下，Agent 每隔 15 秒向 Cloudera Manager Server 發(fā)送一次檢測(cè)信號(hào)。但是，為了減少用戶延遲，在狀態(tài)變化時(shí)會(huì)提高頻率。

狀態(tài)管理

模型狀態(tài)捕獲什么進(jìn)程應(yīng)在何處運(yùn)行以及具有什么配置。

? 運(yùn)行時(shí)狀態(tài)是哪些進(jìn)程正在何處運(yùn)行以及正在執(zhí)行哪些命令(例如：重新平衡 HDFS 或執(zhí)行備份/災(zāi)難恢復(fù)計(jì)劃或集群升級(jí)、停止) 。

? 當(dāng)您更新配置(例如Hue Server Web 端口)時(shí)，您即更新了模型狀態(tài)。但是，如果 Hue 在更新時(shí)正在運(yùn)行，則它仍將使用舊端口。當(dāng)出現(xiàn)這種不匹配情況時(shí)，角色會(huì)標(biāo)記為具有“過(guò)時(shí)的配置”。要重新同步，您需重啟角色(這會(huì)觸發(fā)重新生成配置和重啟進(jìn)程)。

? 特殊情況如果要加入一些cloudera manager控制臺(tái)沒(méi)有的屬性時(shí)候，都在高級(jí)配置選項(xiàng)里面嵌入。

服務(wù)器和客戶端配置

? 例如使用HDFS，/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop目錄下僅包含與 HDFS 客戶端相關(guān)的配置。

? 而 HDFS 角色實(shí)例(例如：NameNode 和 DataNode)會(huì)從 /var/run/cloudera-scm-agent/process/812-hdfs-NAMENODE、820-hdfs-DATANODE 下的每個(gè)進(jìn)程專用目錄獲取它們的配置，真正產(chǎn)生作用的是這個(gè)。

主機(jī)管理

? Cloudera Manager 作為群集中的托管主機(jī)身份：JDK、Cloudera Manager Agent、CDH、Impala、Solr 等參與所需的所有軟件部署到主機(jī) 。

? Cloudera Manager 提供用于管理參與主機(jī)生命周期的操作以及添加和刪除主機(jī)的操作。

? Cloudera Management Service Host Monitor 角色執(zhí)行運(yùn)行狀況檢查并收集主機(jī)度量，以使您可以監(jiān)控主機(jī)的運(yùn)行狀況和性能。

進(jìn)程管理

? 在 Cloudera Manager 管理的群集中，只能通過(guò) Cloudera Manager 啟動(dòng)或停止服務(wù)。Cloudera Manager 使用一種名為 supervisord 的開源進(jìn)程管理工具，它會(huì)重定向日志文件，通知進(jìn)程失敗，為合適用戶設(shè)置調(diào)用進(jìn)程的有效用戶 ID 等等。Cloudera Manager 支持自動(dòng)重啟崩潰進(jìn)程。如果一個(gè)角色實(shí)例在啟動(dòng)后反復(fù)失敗，Cloudera Manager 還會(huì)用不良狀態(tài)標(biāo)記該實(shí)例。

? 特別需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不會(huì)停止群集;所有正在運(yùn)行的實(shí)例都將保持運(yùn)行。

? Agent 的一項(xiàng)主要職責(zé)是啟動(dòng)和停止進(jìn)程。當(dāng) Agent 從檢測(cè)信號(hào)檢測(cè)到新進(jìn)程時(shí)，Agent 會(huì)在 /var/run/cloudera-scm-agent 中為它創(chuàng)建一個(gè)目錄，并解壓縮配置。

? Agent 受到監(jiān)控，屬于 Cloudera Manager 的主機(jī)監(jiān)控的一部分：如果 Agent 停止檢測(cè)信號(hào)，主機(jī)將被標(biāo)記為運(yùn)行狀況不良。

身份驗(yàn)證

? Hadoop中身份驗(yàn)證的目的僅僅是證明用戶或服務(wù)確實(shí)是他或她所聲稱的用戶或服務(wù) 。

? 通常，企業(yè)中的身份驗(yàn)證通過(guò)單個(gè)分布式系統(tǒng)(例如：輕型目錄訪問(wèn)協(xié)議 (LDAP) 目錄)進(jìn)行管理，LDAP 身份驗(yàn)證包含由各種存儲(chǔ)系統(tǒng)提供支持的簡(jiǎn)單用戶名/密碼服務(wù)，ranger+ldap+freeipa。

? Hadoop 生態(tài)系統(tǒng)的許多組件會(huì)匯總到一起來(lái)使用 Kerberos 身份驗(yàn)證并提供用于在 LDAP 或 AD 中管理和存儲(chǔ)憑據(jù)的選項(xiàng)。

授權(quán)

CDH 當(dāng)前提供以下形式的訪問(wèn)控制：

適用于目錄和文件的傳統(tǒng) POSIX 樣式的權(quán)限。

適用于 HDFS 的擴(kuò)展的訪問(wèn)控制列表 (ACL) 。

Apache HBase使用ACL來(lái)按列、列族和列族限定符授權(quán)各種操作 (READ, WRITE, CREATE, ADMIN)。

使用 Apache Sentry 基于角色進(jìn)行訪問(wèn)控制。

Cloudera Management Service

功能：可作為一組角色實(shí)施各種管理功能

Activity Monitor：收集關(guān)于MapReduce服務(wù)運(yùn)行的活動(dòng)的信息。默認(rèn)情況下不添加此角色。

Host Monitor：收集有關(guān)主機(jī)的運(yùn)行狀況和指標(biāo)信息。

Service Monitor：從YARN和Impala服務(wù)中收集關(guān)于服務(wù)和活動(dòng)信息的健康和度量信息。