国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 網站 > 建站經驗 > 正文

基于CentOS的Hadoop分布式環境的搭建開發

2019-11-02 16:33:35
字體:
來源:轉載
供稿:網友

首先,要說明的一點的是,我不想重復發明輪子。如果想要搭建Hadoop環境,網上有很多詳細的步驟和命令代碼,我不想再重復記錄。

其次,我要說的是我也是新手,對于Hadoop也不是很熟悉。但是就是想實際搭建好環境,看看他的廬山真面目,還好,還好,最好看到了。當運行wordcount詞頻統計的時候,實在是感嘆hadoop已經把分布式做的如此之好,即使沒有分布式相關經驗的人,也只需要做一些配置即可運行分布式集群環境。

好了,言歸真傳。

在搭建Hadoop環境中你要知道的一些事兒:

1.hadoop運行于Linux系統之上,你要安裝Linux操作系統

2.你需要搭建一個運行hadoop的集群,例如局域網內能互相訪問的linux系統

3.為了實現集群之間的相互訪問,你需要做到ssh無密鑰登錄

4.hadoop的運行在JVM上的,也就是說你需要安裝Java的JDK,并配置好JAVA_HOME

5.hadoop的各個組件是通過XML來配置的。在官網上下載好hadoop之后解壓縮,修改/etc/hadoop目錄中相應的配置文件

工欲善其事,必先利其器。這里也要說一下,在搭建hadoop環境中使用到的相關軟件和工具:

1.VirtualBox――畢竟要模擬幾臺linux,條件有限,就在VirtualBox中創建幾臺虛擬機樓

2.CentOS――下載的CentOS7的iso鏡像,加載到VirtualBox中,安裝運行

3.secureCRT――可以SSH遠程訪問linux的軟件

4.WinSCP――實現windows和Linux的通信

5.JDK for linux――Oracle官網上下載,解壓縮之后配置一下即可

6.hadoop2.7.1――可在Apache官網上下載

好了,下面分三個步驟來講解

Linux環境準備

 配置IP

為了實現本機和虛擬機以及虛擬機和虛擬機之間的通信,VirtualBox中設置CentOS的連接模式為Host-Only模式,并且手動設置IP,注意虛擬機的網關和本機中host-only network 的IP地址相同。配置IP完成后還要重啟網絡服務以使得配置有效。這里搭建了三臺Linux,如下圖所示

配置主機名字

對于192.168.56.101設置主機名字hadoop01。并在hosts文件中配置集群的IP和主機名。其余兩個主機的操作與此類似

[root@hadoop01 ~]# cat /etc/sysconfig/network # Created by anaconda NETWORKING = yes HOSTNAME = hadoop01   [root@hadoop01 ~]# cat /etc/hosts 127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1     localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.56.101 hadoop01 192.168.56.102 hadoop02 192.168.56.103 hadoop03 

永久關閉防火墻

service iptables stop(1.下次重啟機器后,防火墻又會啟動,故需要永久關閉防火墻的命令;2由于用的是CentOS 7,關閉防火墻的命令如下)

systemctl stop firewalld.service    #停止firewallsystemctl disable firewalld.service #禁止firewall開機啟動

關閉SeLinux防護系統

改為disabled 。reboot重啟機器,使配置生效

[root@hadoop02 ~]# cat /etc/sysconfig/selinux  # This file controls the state of SELinux on the system # SELINUX= can take one of these three values: #   enforcing - SELinux security policy is enforced  #   permissive - SELinux prints warnings instead of enforcing #   disabled - No SELinux policy is loaded SELINUX=disabled # SELINUXTYPE= can take one of three two values: #   targeted - Targeted processes are protected, #   minimum - Modification of targeted policy Only selected processes are protected #   mls - Multi Level Security protection SELINUXTYPE=targeted  
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 万荣县| 当涂县| 彰化县| 贵溪市| 广南县| 石屏县| 华蓥市| 句容市| 三河市| 莒南县| 天全县| 锦屏县| 茂名市| 互助| 临泽县| 平凉市| 昆山市| 车险| 夹江县| 进贤县| 青河县| 湄潭县| 临泉县| 酒泉市| 碌曲县| 观塘区| 宝鸡市| 庆城县| 揭西县| 治县。| 南投县| 林芝县| 色达县| 彝良县| 邓州市| 二手房| 郎溪县| 商丘市| 瑞安市| 滕州市| 元江|