Mpich2 集群

Ubuntu 8.10 组建基于mpich2 的并行计算集群

1.操作系统平台及配套的软件环境

    各计算节点的操作系统:Ubuntu-8.10-desktop-amd64
    MPICH2 软件版本:  mpich2-1.0.8, MPICH2 配置的 Fortran 编译器为:     英特尔 Fortran 编译器 ifort 10
    

2.计算节点配置

    检查主机名是否同名
    2.1
    $ sudo vim /etc/hostname # 查看 hostname, 要求所有节点具有不同的 hostname。
 
    2.2 修改主机名和 IP 配置文件
    $ sudo vim /etc/hosts
    文件内容类似如下:
    ------------------------------------------------------------------------------------------------------
    127.0.0.1 localhost
    # MPICH2 HOSTS
    193.168.100.121         
    193.168.100.116        
    193.168.100.109       
    193.168.100.11        
    193.168.100.100 
  -------------------------------------------------------------------------------------------------------
    2.3 所有节点固定 IP 地址
    <1> 文件配置用如下命令设置:
    $ sudo vim /etc/network/interfaces

    文件内容类似如下:
    -------------------------------------------------------------------------------------------------------
    auto lo
    iface lo inet loopback
    auto eth0
    iface eth0 inet static
                                       # 修改为实际的 IP 地址
    address 193.168.100.121
                                      # 修改为实际的子网掩码
    netmask 255.255.255.0
                                      # 修改为实际的网关地址
    gateway 193.168.100.1
  
    <2> 设置 DNS
    $ sudo vim /etc/resolv.conf
    # Generated by NetworkManager
    nameserver 202.41.52.3 # 修改为实际的 DNS 服务器
    
    注意事项:
    <1> 通 过 配 置 文 件 设 置 固 定 IP 的 时 候 , Ubuntu 8.10 的 Network Manager 会 出 现 一 个ifupdown(eth0)的连接,无法删除,
    无法修改,每次重启,都会清空 DNS 设置。 网上有解决办法,但是不通用,实在解决不了,可以将 Network Manager 卸载。
    <2> 为了省去以上麻烦,建议采用在 Network Manager 中手动配置,不必修改配置文件。
   

    2.4 创建新的用户用于运行 MPI
    安全起见,所有机器使用如下命令添加一个用户来参与运算,以下命令切换到 root 帐户下:
    # mkdir /mpi
    # useradd -N -d /mpi -s /bin/bash -u 500 mpiu
    # chown mpiu /mpi -R
    2.5 安装必须的软件
    build-essential, nfs-common, openssh-server
    # apt-get install build-essential nfs-common openssh-server
    以下仅 master 主节点配置完成后,在普通节点配置: ${master_hostname} = 主节点的主机名
           
   NFS 客户端配置
    2.6
    # mount ${master_hostname}:/mpi    /mpi
    2.7 自动挂载 NFS
    # echo "${master_hostname}:/mpi          /mpi nfs defaults" >> /etc/fstab

3. Master 主节点的配置

   3.1 基本节点配置
   按普通节点配置
   3.2 NFS Server 配置
   安装 nfs server
   # apt-get install nfs-kernel-server
   # echo "/mpi *(rw, sync)" >> /etc/exports
   以下切换到 mpiu 用户操作
   3.3 openssh keypair
   生成公-私密钥对以使节点相互可无密码访问
   首先将主节点切换到*mpiu*用户,在 hostname:/mpi/.ssh/ 下面生成公钥:id_dsa.pub 以及私钥: id_dsa
   mpiu@master:~$ ssh-keygen -q -t dsa -N "" -f ~/.ssh/id_dsa
   将公钥文件内容追加到授权文件 authorized_keys 里面, .ssh 下最初没有 authorized_keys,         如果有,则需要复制追加,如下所示:
   mpiu@master:~$ cat ~/mpi/.ssh/id_dsa.pub >> ~/mpi/.ssh/authorized_keys
   在计算节点(假设主机名为:hostname1)上,配置公私密钥
   mpiu@hostname1:~$ mkdir /.ssh
   然后,    将主节点的./mpi/.ssh/路径下的所有文件,               复制到所有计算节点的./mpi/.ssh/路径下,至此,各节点之间可以实现无密码访问。
   例如:mpiu@hostname1:~$ ssh hostname2
   可以登录到 hostname2:
   mpiu@hostname2:~$
   3.4 节点统计并修改所有机器/etc/hosts 文件
        统计所有节点的 hostname 和对应 IP 地址,将所有节点(包括 Master)的 hostname 写入到/mpi/mpd.hosts 文件,一行一个。
        将 hostname 和 IP 对应写入到所有节点(包括 Master)的/etc/hosts 文件中,见 2.2。
   3.5 mpich2 编译安装
   下载 mpich2 源码包到/mpi 下,本配置方案中所使用的 mpich2 为 mpich2-1.0.8
    mpiu@master:~$ tar xzf mpich2-${ver}.tar.gz
    mpiu@master:~$ cd mpich2-${ver}/
    mpiu@master:~$ configure --prefix=/mpi/mpich2        #此处以实际的安装位置替换/mpi/mpich2
    mpiu@master:~$ make
    mpiu@master:~$ make install
   3.6 .mpd.conf
   mpiu@master:~$ echo "secretword=somestring" > .mpd.conf
   # 此处:somestring 为设置的 mpiu 帐户密码
   mpiu@master:~$ chmod 600 .mpd.conf
   3.7 mpiu 用户的环境变量设置
  从原来的用户帐户下拷一份.bashrc .profile 到/mpi 下
  mpiu@master:~$ cp      /home/xxx/.bashrc  /mpi
  mpiu@master:~$ cp     /home/xxx/.profile  /mpi
  mpiu@master:~$ chown mpiu .bashrc .profile
  添加如下两行到/mpi/.bashrc 中,
  注意:此处”/mpi/mpich2/bin“是 MPICH2 的实际安装路径,应该根据你的具体情况修改
  export PATH = "/mpi/mpich2/bin:$PATH"
  export LD_LIBRARY_PATH = "/mpi/mpich2/lib:$LD_LIBRARY_PATH"
  3.8 再次确认/mpi 下所有文件属主均为 mpiu
  mpiu@master:~$ ls -al

4.测试是否组建成功

  全部在 mpiu 用户下执行
  4.1 测试 mpd
  mpiu@master:~$ mpdcheck -l
  按照提示修改,无输出结果即说明配置正确
  4.2 本机测试
  mpiu@hostname:~$ mpd &
  mpiu@hostname:~$ mpdtrace
  mpiu@hostname:~$ mpdallexit
  返回本机 hostname 即为正常。
  4.3 cluster 启动测试
  $ mpdboot -n ${numberofnode)
  $ mpdtrace
  $ mpdallexit
 应当返回全部的节点 hostname
4.4 测试两台机器之间的相互通讯【仅且当启动失败时】
使用第一台的主机名 hostname1 和返回的 port 号为参数,测试与 hostname2 的通讯
一台机器执行第一句: mpiu@hostname1: ~$ mpdcheck – s
另一台执行第二句: mpiu@hostname2: ~$ mpdcheck -c [host] [port]
4.5 圆周率π算例测试 (源码路径 example/cpi)
$ mpdboot  -n ${numberofnode)
$ mpiexec -n ${numberofprocess) /mpi/mpich2-${ver}/example/cpi
  4.6 HPL 算例测试
  HPL 全称 High Performance Linpack 是个用于测试分布式计算环境的浮点计算性能(FLOPS)的工具.
  <1> 注意事项:
      1. 作业运行时间尽量为夜间,在下午下班时启动作业
      2. 进行以下所有操作前使用 su mpiu 切换到 mpiu 帐户下。
      3. 运行作业前使用 mpdtrace 检查节点数,检查其它节点是否运行于 Linux,并协调使用时
         间(包括只运行于本机的程序)            。
      4. 节点不足时使用 mpdboot -n ${N} -f ~/mpd.hosts --chkup 启动足够的 cluster 节点。${N}
        为节点数 ${N}<=5,注意 N<5 时除本地节点外会优先启动 mpd.hosts 中靠前的节点。运行的程序必须放置到/mpi 路径的子目录下,       
        注意目录权限需要 mpiu 用户可读写(chown  mpiu /mpi/xxx -R)。结果也需要写回此路径。
       少于 4 个进程的程序请按原方法在本机跑,效率较高。
        <2> Cluster 测试算例运行方法:
       假设现在在主节点上, 其主机名为:master
       运行以下命令
      # 切换到 mpiu 帐户
      user@master:~$ su mpiu
     # 输入登录到 mpiu 的密码
      user@master:~$
      # 转到 mpiu 帐户的根目录
      mpiu@master:~$ cd
      # 退出所有可能已经启动的 MPD 帐户
      mpiu@master:~$ mpdallexit
      # 启动 5 个计算节点
      mpiu@master:~$ mpdboot -n 5 –chkup
      mpiu@master:~$ cd /mpi/hpl-2.0/bin/Linux_PII_FBLAS/
      修改 HPL.dat
      mpiu@master:~$ mpirun -np 20 ./xhpl 2>&1 > result-cluster-`date +%s`.txt
      <3>关于修改 HPL.dat 说明

  HPL.dat 是 HPL20core.dat 的软链接。
  运行前修改第 5-6 行即可
  第 5 行是总的矩阵个数
  第 6 行是每个矩阵的规模
  测试以下几个即可
  40960 51200 81920 102400
  测试完成的矩阵可以从文件中去掉

5.维护事项

   5.1 添加计算节点
   按照第 2 节内容配置新节点
   在所有已有节点的/etc/hosts 文件中增加一行新节点的 hostname 解析
   在/mpi/mpd.hosts 中添加一行新节点的 hostname
   使用下面命令启动:
    $ mpdboot -n ${numberofnode} --chkup
    5.2 删除计算节点
    用 mpdtrace -l 得到对应节点${mpdid}
    用 mpdexit ${mpdid}删除节点
    将/mpi/mpd.hosts 中对应行删除

6. 常见问题及解答

    通常为 hosts 文件出错,检查:
    6.1 hosts 文件要有本机和其它节点 hostname 的解析
    6.2 127.0.0.1/16 只能解析为 localhost
    6.3 节点中不能有 hostname 相同的机器
    6.4 运行 HPL 测试算例时,可能会提示缺少 libgfortran.so.2 库,此时要在各计算节点上安装gfortran-4.2 编译器。
    ./xhpl: error while loading shared libraries: libgfortran.so.2: cannot open shared object file: No such file or directory
    ./xhpl: error while loading shared libraries: libgfortran.so.2: cannot open shared object file: No such file or directory
    ./xhpl: error while loading shared libraries: libgfortran.so.2: cannot open shared object file: No such file or directory