虛擬機(rhel-1.41.1.10.4.el6-i386)
1.lrzsz 安裝
cd /tmp--以不安全方式登錄(否則報錯)wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz --no-check-certificatetar zxvf lrzsz-0.12.20.tar.gz --解壓 cd lrzsz-0.12.20./configure && make && make install安裝過程默認把lsz和lrz安裝到了/usr/local/bin/目錄下, 現在并不能直接使用,下面創建軟鏈接,并命名為rz/sz:
cd /usr/binln -s /usr/local/bin/lrz rzln -s /usr/local/bin/lsz sz2.jdk 安裝 下載jdk-7-linux-i586.tar.gz 一般默認情況下Linux自帶 (本人虛擬機) /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0
配置環境變量
vim ~/.bashrc --或者 ~/.bash_PRofile添加:(環境變量修改見hadoop配置)export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0export JRE_HOME=${JAVA_HOME}/jre #export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 保存退出,輸入以下命令使之立即生效。source ~/.bashrc -- source令通常用于重新執行剛修改的初始化文件,-- 使之立即生效,而不必注銷并重新登錄。java -version --檢查3.hadoop安裝 hadoop-1.2.1-bin.tar.gz 包下載
tar xzf hadoop-1.2.1-bin.tar.gz --配置環境變量 hadoop安裝目錄/tmp/hadoop-1.2.1vim ~/.bashrc #export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:${HADOOP_INSTALL}/sbinexport HADOOP_HOME=/tmp/hadoop-1.2.1#export HADOOP_INSTALL=/tmp/hadoop-1.2.1export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHsource ~/.bashrc --更新hadoop version --查看版本4.修改hadoop配置文件 (./conf)
--獨立模式(默認 )--偽分布模式 修改配置文件 --core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs:/localhost/</value> </property></configuration> --hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>--mapred-site.xml<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property></configuration>--如果是YARN 需要配置 yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.address</name> <value>localhost:8032</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce:shuffle</value> </property></configuration>5.實現無密碼登錄
root@localhost$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa root@localhost$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost --測試6.使用hadoop前
--1.需要格式化HDFS文件系統hadoop namenode -format--2.啟動和終止守護進程(MapReduce 1 沒有YARN)/hadoop/bin/$>start-dfs.sh$>start-mapred.sh--瀏覽器中輸入地址查看(通過本機訪問虛擬機192.168.1.63 替換localhost)http://localhost:50030/jobtracker.jsp --50070--3.終止$>stop-dfs.sh$>stop-mapred.sh注:最后的hadoop及java環境配置
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib #export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:${HADOOP_INSTALL}/sbin#export HADOOP_INSTALL=/tmp/hadoop-1.2.1export HADOOP_HOME=/tmp/hadoop-1.2.1export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH新聞熱點
疑難解答