教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

Hadoop安裝教程,8大安裝目錄的內(nèi)容和作用分別是什么?

更新時間:2020年12月29日18時21分 來源:傳智教育 瀏覽次數(shù):

好口碑IT培訓(xùn)

  Hadoop是Apache基金會面向全球開源的產(chǎn)品之一,任何用戶都可以從Apache Hadoop 官網(wǎng):https://archive.apache.org/dist/hadoop/common下載使用。本書將以編寫時較為穩(wěn)定的Hadoop2.7.4版本為例,詳細(xì)講解Hadoop的安裝。

  先將下載的hadoop-2.7.4.tar.gz安裝包上傳到主節(jié)點hadoop01的/export/software/目錄下,然后將文件解壓到/export/servers/目錄,具體指令如下。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

  執(zhí)行完上述指令后,同樣通過“vi /etc/profile”指令打開profile文件,在文件底部進一步添加如下內(nèi)容類配置Hadoop環(huán)境變量。

# 配置Hadoop系統(tǒng)環(huán)境變量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  在/etc/profile文件中配置完上述Hadoop環(huán)境變量后(注意HADOOP_HOME路徑),保存退出即可。然后,還需要執(zhí)行“source /etc/profile”指令使可使配置文件生效。

  安裝完Hadoop并配置好環(huán)境變量后,可以在當(dāng)前主機任意目錄下查看安裝的Hadoop版本號,具體指令如下。

$ hadoop version

  執(zhí)行完上述指令后,效果如圖1所示。

圖1 Hadoop版本號

  從圖1可以看出,當(dāng)前Haddoop版本就是指定的2.7.4,說明Hadoop安裝成功。

  接下來,可以在Hadoop解壓目錄下通過ll指令查看Hadoop目錄結(jié)構(gòu),如圖2所示。

  圖2 Hadoop安裝目錄結(jié)構(gòu)

  從圖2可以看出,Hadoop安裝目錄包括有bin、etc、include、lib、libexec、sbin、share和src共8個目錄以及其他一些文件,下面簡單介紹下各目錄內(nèi)容及作用。

  bin:存放操作Hadoop相關(guān)服務(wù)(HDFS、Yarn)的腳本,但是通常使用sbin目錄下的腳本。

  etc:存放Hadoop配置文件,主要包含core-site.xml、hdfs-site.xml、mapred-site.xml等從Hadoop1.0繼承而來的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

  include:對外提供的編程庫頭文件(具體動態(tài)庫和靜態(tài)庫在lib目錄中),這些頭文件均是用C++定義的,通常用于C++程序訪問HDFS或者編寫MapReduce程序。

  lib:該目錄包含了Hadoop對外提供的編程動態(tài)庫和靜態(tài)庫,與include目錄中的頭文件結(jié)合使用。

  libexec:各個服務(wù)對用的shell配置文件所在的目錄,可用于配置日志輸出、啟動參數(shù)(比如JVM參數(shù))等基本信息。

  sbin:該目錄存放Hadoop管理腳本,主要包含HDFS和YARN中各類服務(wù)的啟動/關(guān)閉腳本。

  share:Hadoop各個模塊編譯后的jar包所在的目錄。

  src:Hadoop的源碼包。



猜你喜歡:

Hadoop從何而來,Hadoop發(fā)展歷程簡介

如何遠(yuǎn)程登錄Hadoop虛擬機和開啟SSH服務(wù)

Scala語言是什么?有什么特點?如何安裝?

傳智教育大數(shù)據(jù)培訓(xùn)課程

0 分享到:
和我們在線交談!