初衷
首先說明一下既然網(wǎng)上有那么多教程為什么要還要寫這樣一個安裝教程呢?網(wǎng)上教程雖然多,但是有些教程比較老,許多教程忽略許多安裝過程中的細節(jié),比如添加用戶的權限,文件權限,小編在安裝過程遇到許多這樣的問題所以想寫一篇完整的教程,希望對初學Hadoop的人有一個直觀的了解,我們接觸真集群的機會比較少,虛擬機是個不錯的選擇,可以基本完全模擬真實的情況,前提是你的電腦要配置相對較好不然跑起來都想死,廢話不多說。
環(huán)境說明
本文使用VMware® Workstation 12 Pro虛擬機創(chuàng)建并安裝三臺Ubuntu16.04系統(tǒng)分別命名為master、slave1、slave2對應對應NameNode、DataNode、DataNode。
安裝過程中要求三個系統(tǒng)中配置基本相同除個別配置(比如:節(jié)點的命名)
192.168.190.128 master
192.168.190.129 slave1
192.168.190.131 slave2
在虛擬機Linux上安裝與配置Hadoop
需要說明的是下面的所有配置三臺Ubuntu系統(tǒng)都要配置而且是基本一樣,為了使配置一致,先在一臺機器上配置然后將對應配置scp到其他機器上
虛擬機的安裝不是本文重點,這里就不贅述了。安裝之后是這樣的:

在Linux上安裝Hadoop之前,需要安裝兩個程序:
1)JDK1.6(或更高版本),本文采用JDK 1.7。Hadoop是Java編寫的程序,Hadoop的編譯及MapReduce都需要使用JDK。因此,在安裝Hadoop前,必須安裝JDK1.6或更高版本。
2)SSH(安裝外殼協(xié)議),推薦安裝OpenSSH.Hadoop需要通過SSH來啟動Slave列表中各臺機器的守護進程,因此SSH也是必須安裝的,即使是安裝偽分布版本(因為Hadoop并沒有區(qū)分集群式和偽分布式)。對于偽分布式,Hadoop會采用與集群相同處理方式,即按次序啟動文件conf/slaves中記載的主機上的進程,只不過在偽分布式中Slave為localhost(即本身),所以對于偽分布式Hadoop,SSH也是一樣必須的。
部署步驟
添加一個hadoop用戶,并賦予相應權利,我們接下來hadoop Hbase的安裝都要在hadoop用戶下操作,所以hadoop用戶要將hadoop的文件權限以及文件所有者賦予給hadoop用戶。
1.每個虛擬機系統(tǒng)上都添加 hadoop 用戶,并添加到 sudoers
sudo adduser hadoop
sudo gedit /etc/sudoers
找到對應添加如下:
# User privilege specificationroot ALL=(ALL:ALL) ALLhadoop ALL=(ALL:ALL) ALL
2.切換到 hadoop 用戶:
su hadoop
3.修改 /etc/hostname 主機名為 master
當然master虛擬機設置為master
其他兩個虛擬機分別設置為slave1、slave2
4.、修改 /etc/hosts
127.0.0.1 localhost127.0.1.1 localhost.localdomain localhost192.168.190.128 master192.168.190.129 slave1192.168.190.131 slave2# The following lines are desirable for IPv6 capable hosts::1 ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02::1 ip6-allnodesff02::2 ip6-allrouters
5.安裝JDK 1.7
(1)下載和安裝JDK 1.7
jdk-7u76-linux-x64.tar.gz
使用tar命令
tar -zxvf jdk-7u76-linux-x64.tar.gz
將安裝文件移動到JDK安裝目錄,本文JDK的安裝目錄為/usr/lib/jvm/jdk1.7.0_76
新聞熱點
疑難解答