Linux操作系統關于集群的安裝與并行計算

2024-06-28 13:03:01

字體：大中小

來源：轉載

供稿：網友

1.linux安裝

安裝過程就不多說了。需要注意的是安裝時，如果機群不與外界聯網則可以不考慮安全

方面的因素而把rsh選為可信賴的服務，注意安裝相應的軟件包；如果還要與外界保持聯

網，出于安全需要應把ssh選為可信賴的服務。安裝以后，應該保證各節點之間能夠用s

sh相互登錄。每個節點的sshd都應該能正常提供服務。主機名：node1...noden (我所構

建的系統n=2)

2.創建NFS服務

在服務器節點public目錄下建立mpi目錄，并將其配置成NFS服務器，在/etc/exports文

件中加入一行：

/public/mpi node1(rw) node2(rw)

在客戶端節點的/etc/fstab文件中增加一行：

sever :/pubilc/mpi nfs rw , bg , soft 0 0

將/public/mpi這個目錄從服務器節點輸出，并裝載在各客戶端，從而便于在各節點間分

發任務

3.修改/etc/hosts文件，將所有節點名稱極其ip地址填入。例如：

127.0.0.1　localhost.localdomain localhost

192.168.1.1　node1

192.168.1.2　node2

…………………….

每個節點都進行類似的配置。這樣做的目的是使節點之間能夠通過node1 ... noden的名

稱相互訪問。你可以通過ping noden 或 ssh noden進行測試。

4.修改(或創建)/etc/hosts.equiv文件

將所有你允許訪問本機進行mpi計算的機器名填入，一行一個機器名。這一步是為了使節

點對其它的節點放權。

例如，我的node1是我用于啟動mpi集群計算的機器，其他的節點是參與計算者，在node

1的/etc/hosts.equiv文件是這樣的：

node1 #給自己放權，這樣在只有一臺機器時也可以模擬并行計算環境

node2

.....

noden

在node2...noden的/etc/hosts.equiv文件：

node1 #對node1放權

node2

......

noden

5.修改~/.bash_PRofile文件

首先決定一個用于啟動集群計算的用戶名，不提倡使用root進行集群計算。這里在每個

節點上建立新用戶chief，他們的主目錄都是/home/chief，必須采用同樣的密碼，將來

的計算程序必須放在相同的路徑上。譬如你的程序為：fpi.f和a.out，則必須把a.out放

在同樣的路境內，比如~/mpirun/a.out，每個節點都是如此。修改~/.bash_profile文

件，主要是加入下列幾行腳本：

export PATH=$PATH:/usr/local/mpich/bin

export MPI_USEP4SSPORT=yes

export MPI_P4SSPORT=22

export P4_RSHCOMMAND=rsh 或ssh

這里我們預定了將來mpich的運行環境安裝在目錄/usr/local/mpich下面。其余的三個變

量是用來通知mpi運行環境采用rsh(或ssh)來作為遠程shell。linux的運行環境到此就配

置完畢了。

6.配置rsh 或ssh

對于采用rsh來作為遠程shell運行MPI的用戶只要保證在各個節點上都具有相同的用戶，

并把這一用戶的密碼設為空密碼就可以運行了。

若采用ssh作為遠程shell則按如下配置：以你設定的用于啟動mpi計算的用戶登錄，運行

ssh-keygen，這將生成一個私有/公開密鑰對，分別存放在~/.ssh/identity和~/.ssh/i

dentity.pub文件內。然后進行訪問授權，運行：

cp ~/.ssh/identity.pub ~/.ssh/authorized_keys

chmod go-rwx ~/.ssh/authorized_keys

ssh-agent $SHELL

ssh-add

在每個節點重復一遍。試著在某一節點上登錄其它節點，ssh noden，則在.ssh/下生成

一個known_hosts2文件，里面放著訪問該主機的密鑰，把所有密鑰收集起來，在各個節

點上作同樣的拷貝。這樣做的目的是使各節點相互之間訪問無需輸入密碼。

7.開啟各項必需的服務

如果是以根用戶root 登陸系統的則可以用ntsysv命令啟動ntsysv實用程序。ntsysv 實

用程序允許使用簡單的菜單界面啟動或關閉各種運行等級的服務。在其中我們選擇開啟

rsh ,rlogin,telnet等。也可以關閉一些服務以加快啟動速度如sendmail。

如果是使用su命令轉為root用戶的則很可能運行ntsysv并不出現ntsysvs實用程序。此時

可以直接去修改/etc/xinetd.d下的rlogin, rsh ,telenet的設置。用vi編輯器打開xin

etd.d:

vi /etc/xinetd.d

則可看到如下所示的配置文件:

關于rsh的設置如下# default: off# description: The rshd server is the server for the rcmd(3) routine and, /#       consequently, for the rsh(1) program.  The server provides /#       remote execution facilities with authentication based on /#       privileged port numbers from trusted hosts.service shell{       disable = yes       socket_type             = stream       wait                    = no       user                    = root       log_on_success          += USERID       log_on_failure          += USERID       server                  = /usr/sbin/in.rshd}關于rlogin的設置如下# default: off# description: rlogind is the server for the rlogin(1) program.  The server /#       provides a remote login facility with authentication based on /#       privileged port numbers from trusted hosts.service login{       disable = yes       socket_type             = stream       wait                    = no       user                    = root       log_on_success          += USERID       log_on_failure          += USERID       server                  = /usr/sbin/in.rlogind}關于telnet的設置如下# default: off# description: The telnet server serves telnet sessions; it uses /# unencrypted username/passWord pairs for authentication.service telnet{disable = yesflags = REUSEsocket_type = streamwait = nouser = rootserver = /usr/sbin/in.telnetdlog_on_failure += USERID}

所有這些服務在安裝完系統之后都是默認為禁用的，要進行修改來打開這些服務。如要

通過修改啟動telenet則就需要改disable = yes為disable = no。對于其他的服務的啟

動的修改與之相同。若啟動這些服務則只需要簡單執行：

＃/etc/rc.d/init.d/xinetd restart

或重起計算機就可以使所作的更改生效。

8.在服務器節點編譯、安裝Fortran90編譯器

先將Fortran90（我用的是Intel的）編譯器拷貝至/tmp下，然后用tar xvfz fortran90

.tar.gzj解壓縮。運行

./install

選擇你所要安裝的類型，如果你的機器是基于IA－32,就選擇1。如果你的機器是基于It

anium(TM)-based system就選擇2。如果要停止安裝，就選擇X。選擇過之后安回車進入

下一步，此時會要求你選擇 :