国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網(wǎng)站 > 建站經(jīng)驗 > 正文

詳解VMware12使用三臺虛擬機Ubuntu16.04系統(tǒng)搭建hadoop-2.7.1+hb

2019-11-02 16:59:46
字體:
來源:轉載
供稿:網(wǎng)友

初衷

首先說明一下既然網(wǎng)上有那么多教程為什么要還要寫這樣一個安裝教程呢?網(wǎng)上教程雖然多,但是有些教程比較老,許多教程忽略許多安裝過程中的細節(jié),比如添加用戶的權限,文件權限,小編在安裝過程遇到許多這樣的問題所以想寫一篇完整的教程,希望對初學Hadoop的人有一個直觀的了解,我們接觸真集群的機會比較少,虛擬機是個不錯的選擇,可以基本完全模擬真實的情況,前提是你的電腦要配置相對較好不然跑起來都想死,廢話不多說。

環(huán)境說明

本文使用VMware® Workstation 12 Pro虛擬機創(chuàng)建并安裝三臺Ubuntu16.04系統(tǒng)分別命名為master、slave1、slave2對應對應NameNode、DataNode、DataNode。

安裝過程中要求三個系統(tǒng)中配置基本相同除個別配置(比如:節(jié)點的命名)

192.168.190.128 master

192.168.190.129 slave1

192.168.190.131 slave2

在虛擬機Linux上安裝與配置Hadoop

需要說明的是下面的所有配置三臺Ubuntu系統(tǒng)都要配置而且是基本一樣,為了使配置一致,先在一臺機器上配置然后將對應配置scp到其他機器上

虛擬機的安裝不是本文重點,這里就不贅述了。安裝之后是這樣的:

在Linux上安裝Hadoop之前,需要安裝兩個程序:

1)JDK1.6(或更高版本),本文采用JDK 1.7。Hadoop是Java編寫的程序,Hadoop的編譯及MapReduce都需要使用JDK。因此,在安裝Hadoop前,必須安裝JDK1.6或更高版本。

2)SSH(安裝外殼協(xié)議),推薦安裝OpenSSH.Hadoop需要通過SSH來啟動Slave列表中各臺機器的守護進程,因此SSH也是必須安裝的,即使是安裝偽分布版本(因為Hadoop并沒有區(qū)分集群式和偽分布式)。對于偽分布式,Hadoop會采用與集群相同處理方式,即按次序啟動文件conf/slaves中記載的主機上的進程,只不過在偽分布式中Slave為localhost(即本身),所以對于偽分布式Hadoop,SSH也是一樣必須的。

部署步驟

添加一個hadoop用戶,并賦予相應權利,我們接下來hadoop Hbase的安裝都要在hadoop用戶下操作,所以hadoop用戶要將hadoop的文件權限以及文件所有者賦予給hadoop用戶。

1.每個虛擬機系統(tǒng)上都添加 hadoop 用戶,并添加到 sudoers

sudo adduser hadoop
sudo gedit /etc/sudoers

找到對應添加如下:

# User privilege specificationroot  ALL=(ALL:ALL) ALLhadoop ALL=(ALL:ALL) ALL

2.切換到 hadoop 用戶:

su hadoop

3.修改 /etc/hostname 主機名為 master

當然master虛擬機設置為master

其他兩個虛擬機分別設置為slave1、slave2

4.、修改 /etc/hosts

127.0.0.1 localhost127.0.1.1  localhost.localdomain  localhost192.168.190.128 master192.168.190.129 slave1192.168.190.131 slave2# The following lines are desirable for IPv6 capable hosts::1   ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02::1 ip6-allnodesff02::2 ip6-allrouters

5.安裝JDK 1.7

(1)下載和安裝JDK 1.7

jdk-7u76-linux-x64.tar.gz 

使用tar命令

tar -zxvf jdk-7u76-linux-x64.tar.gz

將安裝文件移動到JDK安裝目錄,本文JDK的安裝目錄為/usr/lib/jvm/jdk1.7.0_76

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 蒲城县| 多伦县| 额尔古纳市| 静海县| 车险| 丹东市| 措美县| 井研县| 定陶县| 兴义市| 梅河口市| 灌云县| 林口县| 鄱阳县| 三穗县| 青浦区| 中宁县| 延津县| 正宁县| 乡宁县| 襄城县| 新营市| 奉新县| 耒阳市| 兴业县| 达日县| 紫金县| 海淀区| 汉寿县| 柘荣县| 通渭县| 铜梁县| 浦北县| 平度市| 句容市| 东乡| 丰镇市| 句容市| 清镇市| 玛沁县| 海口市|