Centos下搭建MPI集群计算环境

By iczc | November 29, 2018 | 3 minutes

Linux

本文记录在三个未配置环境的虚拟机下配置MPI集群环境，虚拟机使用virtualbox，LInux系统使用Centos7.2。

集群设计

三台机器中，一台作为管理结点，负责登录、编译与提交计算任务，另外两台作为计算结点，负责执行并行程序。

IP配置

三个结点的ip配置如下：

结点	IP地址
mu01	192.168.100.10
cu01	192.168.100.11
cu02	192.168.100.12

配置每个结点的IP地址，过程如下：
ip addr查看网卡名
vi /etc/sysconfig/network-scripts/ifcfg-{网卡名} 编辑网卡配置文件，添加或修改下列配置：

1
2
3
4
5
6


BOOTPROTO=static
IPADDR=192.168.100.10/11/12/
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
DNS1=8.8.8.8
ONBOOT=yes

配置后重启网卡生效systemctl restart network

主机名配置

1.设置三个结点主机名分别为mu01、cu01、cu02，使用hostnamectl set-hostname 主机名设置。
2.修改/etc/hosts文件实现主机名与ip地址对应，在每个节点的hosts文件中加入：

192.168.100.10 mu01
192.168.100.11 cu01
192.168.100.12 cu02

配置完成后重启，此时各节点可通过ssh 节点名互访。

MPI环境安装

MPI并不是一种新的开发语言，它是一个定义了可以被C、C++和Fortran程序调用的函数库。它有多种实现，本次使用的是mpich的MPI实现，此外还有openmpi、intelmpi等实现。

在管理节点上安装MPI环境：
1.安装gcc编译器

1

yum install gcc gcc-c++ gcc-gfortran

2.下载安装mpich：

1
2
3
4
5
6


wget http://www.mpich.org/static/downloads/3.3/mpich-3.3.tar.gz
tar -xzvf mpich-3.3.tar.gz
cd mpich-3.3
./configure --prefix=/opt/mpich
make
make install

3.设置环境变量：
编辑/etc/profilevi /etc/profile，添加以下的内容：

1
2
3


PATH=$PATH:/opt/mpich/bin
MANPATH=$MANPATH:/opt/mpich/man
export PATH MANPATH

设置完成后使用which mpicc which mpiexec检测是否安装成功

3.单结点测试
编写测试程序vim mpitest.c

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


#include <mpi.h>
#include <stdio.h>
int main (int argc, char* argv[])
{
    int rank, size;
    MPI_Init (&argc, &argv); /* starts MPI*/
    MPI_Comm_rank (MPI_COMM_WORLD, &rank); /* get current process id*/
    MPI_Comm_size (MPI_COMM_WORLD, &size); /* get number of processes*/
    printf( "Hello world from process %d of %d\n", rank, size );
    MPI_Finalize();
    return 0;
}

编译运行：
一般情况下，管理结点只进行程序编译与提交任务，不建议在管理结点运行计算程序，下面为测试mpich是否安装成功，使用管理节点单个节点运行MPI程序。

1
2


mpicc mpitest.c -o hello
mpiexec -np 5 ./hello

输出结果如下：

1
2
3
4
5


Hello world from process 4 of 5
Hello world from process 2 of 5
Hello world from process 3 of 5
Hello world from process 0 of 5
Hello world from process 1 of 5

NFS安装

由于MPICH的安装目录和用户可执行程序在并行计算时需要在所有节点存副本，而且目录要相互对应，每次一个节点一个节点地复制非常麻烦，采用NFS文件系统可以实现所有节点内容与管理节点内容同步更新，并自动实现目录的对应。

对于仅包含几个结点的较小的集群系统，可以任意指定其中一个结点作为NFS服务器。对较大的集群系统，最好设定一个或数个结点专门用于文件服务，这些结点称为I/O结点，它们专门负责存储设备的管理，不参加计算。这里选择mu01作为NFS服务器，将它的/home和/opt目录输出给其他三个结点。

1.在所有安装NFS所需软件包并设置为开机启动

1
2
3
4
5


yum install nfs-utils rpcbind
systemctl enable rpcbind.service
systemctl enable nfs-server.service
systemctl start rpcbind.service
systemctl start nfs-server.service

2.在mu01结点配置共享目录
vim /etc/exports
添加

/home    *(async,insecure,rw,no_all_squash,no_root_squash)
/opt    *(async,insecure,rw,no_all_squash,no_root_squash)

刷新NFS设置：exportfs -ra 查看NFS状态：exportfs -v

3.在cu节点挂载NFS
查看可挂载目录：showmount -e mu01

挂载opt与home目录：

1
2


mount -t nfs mu01:/opt /opt
mount -t nfs mu01:/home /home

设置开机自动挂载：
追加下面配置到/etc/fstab

mu01:/home /home nfs defaults,nfsvers=3 0 0
mu01:/opt /opt nfs defaults,nfsvers=3 0 0

df -h查看是否挂载成功
如不成功尝试在所有结点关闭防火墙（测试环境）

1
2


systemctl disable firewalld
systemctl stop firewalld

NIS安装

集群中的每台主机都需要设计相同的帐号密码是非常麻烦的，因此可通过一个NIS主控制服务器管理集群中所有帐号密码,当其他主机有登录需求时再向主控制服务器请求相关账户信息。以mu01结点当作NIS主控制结点为服务端，cu结点为客户端。

1.安装相关软件
服务端：yum install ypserv rpcbind
客户端：yum install ypbind

2.NIS服务端配置

设定NIS的网域名称
编辑/etc/sysconfig/network加入配置NISDOMAIN=mu
设置主要配置文件编辑NIS配置文件/etc/ypserv.conf，允许特定的主机访问NIS服务器,在查询权限部分加入：

127.0.0.0/255.255.255.0     : * : * : none
192.168.100.0/255.255.255.0 : * : * : none
*                           : * : * : deny

启动NIS与设置开机启动

1
2


systemctl start ypserv
systemctl enable ypserv

使用rpcinfo -u localhost ypserv检测是否启动成功

建立用户资料库
执行命令/usr/lib64/yp/ypinit -m建立数据库，将nis服务器端的用户信息导入，当用户信息更新时，也需重新执行该命令更新数据库。
建立完数据库后，需要将服务重启systemctl restart ypserv

3.NIS客户端配置

设置NIS网域名称与服务端操作相同
修改用户密码的认证顺序 vim /etc/nsswitch.conf 修改以下配置：

passwd:     files nis
shadow:     files nis
group:      files nis
hosts:      files nis dns

修改客户端配置文件
配置/etc/yp.conf，添加domain mu server mu01
修改系统认证文件
vim /etc/sysconfig/authconfig
修改USENIS=yes
vim /etc/pam.d/system-auth
修改password sufficient pam_unix.so sha512 shadow nis nullok try_first_pass use_authtok
启动服务并设置为开机启动

1
2


systemctl start ypbind
systemctl enable ypbind

在NIS client 输入yptest测试是否配置成功。

配置SSH免密码登录

MPI并行程序运行时需要设计多机互访免密码。

1
2
3
4


ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 .ssh
chmod 600 .ssh/authorized_keys

多机运行MPI程序

在cu01,cu02上运行MPI程序

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


#include <mpi.h>
#include <stdio.h>
#include <math.h>
int main(argc,argv)int argc;char *argv[];
{
    int myid,numprocs;
    int namelen;
    char processor_name[MPI_MAX_PROCESSOR_NAME];

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &myid);
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
    MPI_Get_processor_name(processor_name,&namelen);
    fprintf(stderr,"Hello World!process %d of %d on  %s\n",myid,numprocs,processor_name);
    MPI_Finalize();
    return 0;
}

mpiexec -hosts cu01,cu02 -np 6 ./hello
执行结果如下：

1
2
3
4
5
6


Hello World!process 0 of 6 on  cu01
Hello World!process 2 of 6 on  cu01
Hello World!process 5 of 6 on  cu02
Hello World!process 4 of 6 on  cu01
Hello World!process 3 of 6 on  cu02
Hello World!process 1 of 6 on  cu02

说明程序已在多机上运行。

使用machinefile

创建machinefile，其内容如下：

cu01:1
cu02:1

指定machinefile运行程序：
mpiexec -n 6 -machinefile ./machinefile ./hello
与上面指定hosts的输出相同，至此MPI环境配置完成。