更新時間:2023年11月15日10時17分 來源:傳智教育 瀏覽次數(shù):
Sqoop的安裝配置非常簡單,前提是部署Sqoop工具的機器需要具備Java和Hadoop的運行環(huán)境。接下來,筆者采用Sqoop-1.4.6來講解Sqoop的安裝配置,下載地址為http://archive.apache.org/dist/sqoop/1.4.6/。
首先將下載好的安裝包上傳至hadoop01主節(jié)點的/export/software目錄中,并解壓至/export/servers路徑下,然后對解壓包進行重命名,具體指令如下。
$ tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C /export/servers/ $ mv sqoop-1.4.6.bin_hadoop-2.0.4-alpha/ sqoop-1.4.6
執(zhí)行完上述Sqoop的下載解壓后,就完成了Sqoop的安裝。
(1)先進入Sqoop解壓包目錄中的conf文件夾目錄下,將sqoop-env-template.sh文件復制并重命名為sqoop-env.sh, 對該文件中的如下內(nèi)容進行修改。
export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.4 export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.4 export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin
在sqoop-env.sh配置文件中,需要配置的是Sqoop運行時必備環(huán)境的安裝目錄,Sqoop運行在Hadoop之上,因此必須指定Hadoop環(huán)境。另外,在配置文件中還要根據(jù)需要自定義配置HBase、Hive和Zookeeper等環(huán)境變量。
export SQOOP_HOME=/export/servers/sqoop-1.4.6 export PATH=$PATH:$SQOOP_HOME/bin
(2)為了后續(xù)方便Sqoop的使用和管理,可以配置Sqoop系統(tǒng)環(huán)境變量。使用“vi/etc/profile”指令進入到profile文件,在文件底部進一步添加如下內(nèi)容類配置Sqoop系統(tǒng)環(huán)境變量。
配置完成后直接保存退出,接著執(zhí)行“source/etc/profile”指令刷新配置文件即可。
(3)當完成前面Sqoop的相關(guān)配置后,還需要根據(jù)所操作的關(guān)系數(shù)據(jù)庫添加對應的JDBC驅(qū)動包,用于數(shù)據(jù)庫連接。