国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 系統(tǒng) > Linux > 正文

Linux中安裝配置hadoop集群詳細(xì)步驟

2019-11-02 16:05:01
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

一. 簡(jiǎn)介

參考了網(wǎng)上許多教程,最終把hadoop在ubuntu14.04中安裝配置成功。下面就把詳細(xì)的安裝步驟敘述一下。我所使用的環(huán)境:兩臺(tái)ubuntu 14.04 64位的臺(tái)式機(jī),hadoop選擇2.7.1版本。(前邊主要介紹單機(jī)版的配置,集群版是在單機(jī)版的基礎(chǔ)上,主要是配置文件有所不同,后邊會(huì)有詳細(xì)說(shuō)明)

二. 準(zhǔn)備工作

2.1 創(chuàng)建用戶

創(chuàng)建用戶,并為其添加root權(quán)限,經(jīng)過(guò)親自驗(yàn)證下面這種方法比較好。

 sudo adduser hadoop sudo vim /etc/sudoers # 修改內(nèi)容如下: root ALL = (ALL)ALLhadoop ALL = (ALL)ALL

給hadoop用戶創(chuàng)建目錄,并添加到sudo用戶組中,命令如下:

 sudo chown hadoop /home/hadoop # 添加到sudo用戶組 sudo adduser hadoop sudo

最后注銷(xiāo)當(dāng)前用戶,使用新創(chuàng)建的hadoop用戶登陸。

2.2 安裝ssh服務(wù)

ubuntu中默認(rèn)是沒(méi)有裝ssh server的(只有ssh client),所以先運(yùn)行以下命令安裝openssh-server。安裝過(guò)程輕松加愉快~

sudo apt-get install ssh openssh-server

2.3 配置ssh無(wú)密碼登陸

直接上代碼:執(zhí)行完下邊的代碼就可以直接登陸了(可以運(yùn)行ssh localhost進(jìn)行驗(yàn)證)

cd ~/.ssh  # 如果找不到這個(gè)文件夾,先執(zhí)行一下 "ssh localhost" ssh-keygen -t rsa cp id_rsa.pub authorized_keys

注意:

這里實(shí)現(xiàn)的是無(wú)密登陸自己,只適用與hadoop單機(jī)環(huán)境。如果配置Hadoop集群設(shè)置Master與Slave的SSH無(wú)密登陸可以參考我的另一篇博文:http://www.jb51.net/article/105483.htm

 三. 安裝過(guò)程

3.1 下載hadoop安裝包

有兩種下載方式:

1. 直接去官網(wǎng)下載:

http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

2. 使用wget命令下載:

復(fù)制代碼 代碼如下:

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

3.2 配置hadoop

1. 解壓下載的hadoop安裝包,并修改配置文件。我的解壓目錄是(/home/hadoop/hadoop-2.7.1),即進(jìn)入/home/hadoop/文件夾下執(zhí)行下面的解壓縮命令。

tar -zxvf hadoop-2.7.1.tar.gz

2. 修改配置文件:(hadoop2.7.1/etc/hadoop/)目錄下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。

(1). core-site.xml 配置:其中的hadoop.tmp.dir的路徑可以根據(jù)自己的習(xí)慣進(jìn)行設(shè)置。

<configuration><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>

(2). mapred-site.xml.template配置:

<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>

(3). hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路徑可以自由設(shè)置,最好在hadoop.tmp.dir的目錄下面。

注意:如果運(yùn)行Hadoop的時(shí)候發(fā)現(xiàn)找不到j(luò)dk,可以直接將jdk的路徑放置在hadoop-env.sh里面,具體如下:

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 库伦旗| 昌平区| 渝北区| 祁连县| 长沙市| 衡阳市| 自贡市| 耿马| 太和县| 佛教| 河南省| 衡阳市| 晴隆县| 合水县| 沂南县| 阿克苏市| 沁源县| 澄江县| 滁州市| 建瓯市| 林州市| 巩留县| 长泰县| 许昌市| 礼泉县| 和田市| 二手房| 连江县| 东乡县| 即墨市| 藁城市| 赞皇县| 淮阳县| 庆安县| 天祝| 鸡泽县| 科尔| 磴口县| 昌吉市| 天祝| 洪雅县|