一. 簡(jiǎn)介
參考了網(wǎng)上許多教程,最終把hadoop在ubuntu14.04中安裝配置成功。下面就把詳細(xì)的安裝步驟敘述一下。我所使用的環(huán)境:兩臺(tái)ubuntu 14.04 64位的臺(tái)式機(jī),hadoop選擇2.7.1版本。(前邊主要介紹單機(jī)版的配置,集群版是在單機(jī)版的基礎(chǔ)上,主要是配置文件有所不同,后邊會(huì)有詳細(xì)說(shuō)明)
二. 準(zhǔn)備工作
2.1 創(chuàng)建用戶
創(chuàng)建用戶,并為其添加root權(quán)限,經(jīng)過(guò)親自驗(yàn)證下面這種方法比較好。
sudo adduser hadoop sudo vim /etc/sudoers # 修改內(nèi)容如下: root ALL = (ALL)ALLhadoop ALL = (ALL)ALL
給hadoop用戶創(chuàng)建目錄,并添加到sudo用戶組中,命令如下:
sudo chown hadoop /home/hadoop # 添加到sudo用戶組 sudo adduser hadoop sudo
最后注銷(xiāo)當(dāng)前用戶,使用新創(chuàng)建的hadoop用戶登陸。
2.2 安裝ssh服務(wù)
ubuntu中默認(rèn)是沒(méi)有裝ssh server的(只有ssh client),所以先運(yùn)行以下命令安裝openssh-server。安裝過(guò)程輕松加愉快~
sudo apt-get install ssh openssh-server
2.3 配置ssh無(wú)密碼登陸
直接上代碼:執(zhí)行完下邊的代碼就可以直接登陸了(可以運(yùn)行ssh localhost進(jìn)行驗(yàn)證)
cd ~/.ssh # 如果找不到這個(gè)文件夾,先執(zhí)行一下 "ssh localhost" ssh-keygen -t rsa cp id_rsa.pub authorized_keys
注意:
這里實(shí)現(xiàn)的是無(wú)密登陸自己,只適用與hadoop單機(jī)環(huán)境。如果配置Hadoop集群設(shè)置Master與Slave的SSH無(wú)密登陸可以參考我的另一篇博文:http://www.jb51.net/article/105483.htm
三. 安裝過(guò)程
3.1 下載hadoop安裝包
有兩種下載方式:
1. 直接去官網(wǎng)下載:
http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
2. 使用wget命令下載:
復(fù)制代碼 代碼如下:
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz3.2 配置hadoop
1. 解壓下載的hadoop安裝包,并修改配置文件。我的解壓目錄是(/home/hadoop/hadoop-2.7.1),即進(jìn)入/home/hadoop/文件夾下執(zhí)行下面的解壓縮命令。
tar -zxvf hadoop-2.7.1.tar.gz
2. 修改配置文件:(hadoop2.7.1/etc/hadoop/)目錄下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。
(1). core-site.xml 配置:其中的hadoop.tmp.dir的路徑可以根據(jù)自己的習(xí)慣進(jìn)行設(shè)置。
<configuration><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>
(2). mapred-site.xml.template配置:
<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>
(3). hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路徑可以自由設(shè)置,最好在hadoop.tmp.dir的目錄下面。
注意:如果運(yùn)行Hadoop的時(shí)候發(fā)現(xiàn)找不到j(luò)dk,可以直接將jdk的路徑放置在hadoop-env.sh里面,具體如下:
新聞熱點(diǎn)
疑難解答
圖片精選
網(wǎng)友關(guān)注