環(huán)境是centos6.4-32,hadoop2.2.0
偽分布式文檔:http://pan.baidu.com/s/1kTrAcWB
完全分布式文檔:http://pan.baidu.com/s/1sjK4gkl
和1.x、0.x有些不同,特別是yarn。
這里面有個(gè)小插曲,在完全分布式模式配置yarn的時(shí)候必須指定ResourceManager的地址
這個(gè)地址在偽分布式模式上不用指定,因?yàn)槟J(rèn)地址是0.0.0.0,也就是本地

但是完全分布式模式必須指定,因?yàn)椴恢付╯lave就不知道哪臺(tái)是ResourceManager
在2.x中不僅datanode要向namenode報(bào)告HDFS的情況,還要向ResourceManager報(bào)告nogemanager的情況

這樣會(huì)出現(xiàn)一種情況,就是啟動(dòng)后namnode和datanode上面的進(jìn)程都啟動(dòng)起來了,但是hadoop cluster上顯示
的active nodes為0
配置方法有兩種,如果你端口都是使用的默認(rèn)的,就只需要改掉yarn.resourcemanager.hostname這個(gè)變量
這個(gè)變量的功能類似于java_HOME,用來被別人引用。
如果你端口不使用默認(rèn)的,就在下面每個(gè)引用的地方的${yarn.resourcemanager.hostname}改為master的
名稱或者地址
安裝過程中,由于是實(shí)驗(yàn)環(huán)境,namenode的tmp目錄沒有像其他文檔一樣放在linux系統(tǒng)的/tmp目錄下
(Linux系統(tǒng)的/tmp目錄在系統(tǒng)重啟后會(huì)清除)
在Hadoop中主機(jī)名不支持下劃線“_”,支持“-”
新聞熱點(diǎn)
疑難解答
圖片精選
網(wǎng)友關(guān)注