国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

Ubuntu 安裝 hadoop

2019-11-08 18:52:34
字體:
供稿:網(wǎng)友

安裝完linux后,我們繼續(xù)(VMWare 安裝 Linux  http://blog.csdn.net/hanjun0612/article/details/55095955)

這里我們開始學(xué)習(xí)安裝  hadoop 

如果你是 Ubuntu desktop版本,

那么直接在主界面 按下 Ctrl+alt+T  調(diào)出 終端界面,這樣就和 server版一樣可以使用命令安裝了。

安裝hadoop 

(參照如下鏈接,這兩篇教程簡單明了,推薦看一下,

當(dāng)然樓主也拷貝過來方便大家查閱,并且根據(jù)自己的安裝包修改了幾處)

參考 http://www.cnblogs.com/kinglau/p/3794433.html

        http://www.powerxing.com/install-hadoop/

一、在Ubuntu下創(chuàng)建hadoop組和hadoop用戶

    增加hadoop用戶組,同時(shí)在該組里增加hadoop用戶,后續(xù)在涉及到hadoop操作時(shí),我們使用該用戶。

 

1、創(chuàng)建hadoop用戶組

 

        

 

 

 

    2、創(chuàng)建hadoop用戶

    

    sudo adduser -ingroup hadoop hadoop

    回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼,輸入回車即可。

    如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。

    最后確認(rèn)信息是否正確,如果沒問題,輸入 Y,回車即可。

    

 

 

 

 

 

 

 

 

 

 

 

 

    3、為hadoop用戶添加權(quán)限

 

     輸入:sudo gedit /etc/sudoers

     回車,打開sudoers文件

     給hadoop用戶賦予和root用戶同樣的權(quán)限

 

 

添加這句話,如下圖  hadoop       ALL=(ALL:ALL) ALL

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

二、用新增加的hadoop用戶登錄Ubuntu系統(tǒng)

 

三、安裝ssh

sudo apt-get install openssh-server

 

 

 

 

 

 

 

 

 

 

 

 

安裝完成后,啟動服務(wù)

sudo /etc/init.d/ssh start

 

查看服務(wù)是否正確啟動:ps -e | grep ssh

 

 

 

 

 

 

設(shè)置免密碼登錄,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

 

 

 

 

 

 

 

 

 

 

 

 

 

此時(shí)會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。

下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當(dāng)前用戶身份登錄到ssh客戶端用戶的公鑰內(nèi)容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

 

 

登錄ssh

ssh localhost

 

 

 

 

 

 

 

 

 

 

      

退出

exit

 

四、安裝java環(huán)境

sudo apt-get install openjdk-7-jdk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

查看安裝結(jié)果,輸入命令:java -version,結(jié)果如下表示安裝成功。

 

 

 

 

五、安裝hadoop2.4.0

    1、官網(wǎng)下載http://mirrors.cnnic.cn/apache/hadoop/common/ 

(本來的網(wǎng)站 下載不了。上面是可以下載的)

 下載 “stable” 下的 hadoop-2.x.y.tar.gz 這個格式的文件

    2、安裝

 兩種安裝方法(樓主用的第二種)

        方法一,解壓

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如我們要把hadoop安裝到/usr/local下

        拷貝到/usr/local/下,文件夾為hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

        

 

賦予用戶對該文件夾的讀寫權(quán)限

        sudo chmod 774 /usr/local/hadoop

    

 

方法二,(記得修改命令中你的hadoop版本)

我們選擇將 Hadoop 安裝至 /usr/local/ 中:

sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local    # 解壓到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop            # 將文件夾名改為hadoopsudo chown -R hadoop ./hadoop       # 修改文件權(quán)限Shell 命令

Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用,成功則會顯示 Hadoop 版本信息:

cd /usr/local/hadoop./bin/hadoop version

安裝結(jié)束~~~準(zhǔn)備進(jìn)入配置階段

3、配置

      

        1)配置~/.bashrc

        

配置該文件前需要知道Java的安裝路徑,用來設(shè)置JAVA_HOME環(huán)境變量,可以使用下面命令行查看安裝路徑

        update-alternatives - -config java

        執(zhí)行結(jié)果如下:

        

    

 

 

 

完整的路徑為

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc文件

    sudo gedit ~/.bashrc

    此處分為2個方法(樓主使用第二個方法)

    方法一,該命令會打開該文件的編輯窗口,在文件末尾追加下面內(nèi)容,然后保存,關(guān)閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

 

最終結(jié)果如下圖:

2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

 

        執(zhí)行下面命令,打開該文件的編輯窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量,修改此變量如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改后的hadoop-env.sh文件如下所示:

    

PS:  樓主是使用下面這個方法的,只在bashrc頭部添加一句就好了

方法二 

先運(yùn)行 

dpkg -L openjdk-7-jdk | grep '/bin/javac'Shell 命令

該命令會輸出一個路徑,除去路徑末尾的 “/bin/javac”,剩下的就是正確的路徑了。如輸出路徑為 /usr/lib/jvm/java-7-openjdk-amd64/bin/javac,則我們需要的路徑為 /usr/lib/jvm/java-7-openjdk-amd64。

然后運(yùn)行  sudo gedit ~/.bashrc    

在文件最前面添加如下單獨(dú)一行(注意 = 號前后不能有空格),將“JDK安裝路徑”改為上述命令得到的路徑,并保存:

(也就是之前運(yùn)行 dpkg -L openjdk-7-jdk | grep '/bin/javac' 命令后出現(xiàn)的路徑去除/bin/javac)

export JAVA_HOME=JDK安裝路徑Shell

如下圖所示(該文件原本可能不存在,內(nèi)容為空,這不影響):

配置JAVA_HOME變量

執(zhí)行下面命,使添加的環(huán)境變量生效:

        source ~/.bashrc

設(shè)置好后我們來檢驗(yàn)一下是否設(shè)置正確:

echo $JAVA_HOME     # 檢驗(yàn)變量值java -version$JAVA_HOME/bin/java -version  # 與直接執(zhí)行 java -version 一樣Shell 命令

如果設(shè)置正確的話,$JAVA_HOME/bin/java -version 會輸出 java 的版本信息,且和 java -version 的輸出結(jié)果一樣,如下圖所示:

成功配置JAVA_HOME變量成功配置JAVA_HOME變量

這樣,Hadoop 所需的 Java 運(yùn)行環(huán)境就安裝好了。

六、WordCount測試

 

單機(jī)模式安裝完成,下面通過執(zhí)行hadoop自帶實(shí)例WordCount驗(yàn)證是否安裝成功

先執(zhí)行:cd /usr/local/hadoop 跳轉(zhuǎn)到此目錄,然后才能執(zhí)行  mkdir input  命令

    /usr/local/hadoop路徑下創(chuàng)建input文件夾    

mkdir input

 

    拷貝README.txt到input    

cp README.txt input

    執(zhí)行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

(PS:運(yùn)行這一句時(shí),要看一下自己的jar是多少版本的,我們下載的應(yīng)該是2.7.3

所以替換后:bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jar org.apache.hadoop.examples.WordCount input output

    

 

 

執(zhí)行結(jié)果:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

執(zhí)行 cat output/*,查看字符統(tǒng)計(jì)結(jié)果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 拉萨市| 康乐县| 灌南县| 桐城市| 金平| 监利县| 延安市| 容城县| 托克托县| 齐齐哈尔市| 崇礼县| 新巴尔虎左旗| 无锡市| 东城区| 胶州市| 嘉兴市| 伊宁县| 辽源市| 昌乐县| 衡山县| 凯里市| 本溪| 锡林浩特市| 米脂县| 汽车| 文昌市| 遂宁市| 麟游县| 新兴县| 万年县| 文化| 泸溪县| 霍邱县| 昭苏县| 奉贤区| 镇安县| 蕉岭县| 馆陶县| 朝阳县| 汪清县| 师宗县|