hadoop 2.x分布式安裝

　　這個(gè)安裝過(guò)程經(jīng)歷曲折，遇到了許多坑。

　　環(huán)境：Windows 7 Vm

　　我用了三臺(tái)虛擬機(jī) centos

　　192.168.188.128 hadoop1(作為主服務(wù)器)

　　192.168.188.129 hadoop2

　　192.168.188.130 hadoop3

　　如果你們的安裝環(huán)境好了，接下來(lái)我們就開(kāi)始安裝hadoop之旅吧!

　　1.配置jdk

　　jdk的配置這里不做講解，百度太多了。

　　2.下載hadoop

　　官網(wǎng)下載hadoop，我用的是3.0.3的版本。

　　3.我的hadoop 安裝目錄是 /home/user/hadoop

　　解壓出來(lái)。

　　4.修改hosts

　　vi /etc/hosts

　　輸入

　　192.168.188.128 hadoop1

　　192.168.188.129 hadoop2

　　192.168.188.130 hadoop3

　　保存退出

　　三臺(tái)機(jī)器都需要。

　　配置好了之后 可以試試 ping hadoop2 試試 ping hadoop3 。各個(gè)機(jī)器都可以試試 是否配置好了。

　　5.配置ssh免密登錄。

　　以上都是準(zhǔn)備工作，準(zhǔn)備工作做好了之后。

　　分別在三臺(tái)機(jī)器上運(yùn)行以下

　　ssh-keygen -t rsa

　　一路回車(chē)(ENTER)到底

　　然后在主服務(wù)器上生成的id_rsa.pub 發(fā)送到從服務(wù)器

　　ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(換成你對(duì)應(yīng)的IP) -p (端口)

　　兩臺(tái)從服務(wù)器都要.如果遇到了需要輸入密碼，輸入密碼即可。

　　完成后，

　　在主服務(wù)器上試試 ssh hadoop2 ssh hadoop3，如果不需要密碼就能登錄說(shuō)明配置成功.

　　注意：配置ssh我遇到的坑：出現(xiàn)了 WARING:REMOTE HOST IDENFIATE HAS CHANGED

　　這是因?yàn)槲抑芭渲玫臅r(shí)候 將公鑰已經(jīng)添加到了ssh.pub里面。在ssh.pub里面找到出錯(cuò)對(duì)應(yīng)的IP，將ip和公鑰一并刪除。然后在運(yùn)行ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(換成你對(duì)應(yīng)的IP) -p (端口) 就好了。

　　6.配置各種文件

　　進(jìn)入到 hadoop里面的etc文件夾下 會(huì)看到一個(gè)hadoop的文件。然后進(jìn)去

　　(1)配置core-site.xml

　　fs.defaultFS

　　hdfs://hadoop1:9000

　　hadoop.tmp.dir

　　/home/usr/hadoop/hadoopwork

　　下面的那個(gè)tmp.dir是臨時(shí)工作目錄，建議最好自己設(shè)定。如果是系統(tǒng)默認(rèn)的，linux會(huì)在每次開(kāi)機(jī)之前清空。

　　所以最好自己設(shè)定一個(gè)。

　　(2)配置hdfs-site.xml

　　dfs.replication

　　2

　　dfs.namenode.secondary.http-address

　　hadoop3:50090

　　(3)配置mapred-site.xml

　　mapreduce.framework.name

　　yarn

　　mapreduce.jobhistory.address

　　hadoop1:10020

　　mapreduce.jobhistory.webapp.address

　　hadoop1:19888

　　(4)配置yarn-site.xml

　　yarn.nodemanager.aux-services

　　mapreduce_shuffle

　　yarn.resourcemanager.hostname

　　hadoop2

　　yarn.log-aggregation-enable

　　true

　　yarn.log-aggregation.retain-seconds

　　600000

　　(5)修改hadoop-env.sh

　　修改 java_home 改為你的jdk安裝目錄

　　Java_home在27行

　　(6)添加slaves文件 在etc/hadoop下面 沒(méi)有slaves文件需要自己去建立

　　vi slaves

　　添加如下內(nèi)容

　　hadoop1

　　hadoop2

　　hadoop3

　　(7)進(jìn)入 hadoop 下面的sbin修改

　　start-yarn.sh文件

　　在頭部加入

　　YARN_RESOURCEMANAGER_USER=root

　　HADOOP_SECURE_DN_USER=yarn

　　YARN_NODEMANAGER_USER=root

　　同樣的在stop-yarn.shyexu也需要加入

　　(8)修改start-dfs.sh和stop-dfs.sh 同樣在頭部加入

　　HDFS_DATANODE_USER=root

　　HADOOP_SECURE_DN_USER=hdfs

　　HDFS_NAMENODE_USER=root

　　HDFS_SECONDARYNAMENODE_USER=root

　　7.啟動(dòng)

　　以上就算配置完成。接下來(lái)就是啟動(dòng)

　　./start-all.sh啟動(dòng)

　　./stop-all.sh 停止

　　至此，hadoop的安裝環(huán)境完成。以上是根據(jù)我的hu回憶寫(xiě)成的，可能多多少少存在著瑕疵，歡迎各位指出。

　　作者：傳智播客云計(jì)算大數(shù)據(jù)培訓(xùn)學(xué)院

　　首發(fā)：http://cloud.itcast.cn/