[发明专利]一种容器环境下的MPI应用性能优化方法及系统

说明书

本发明公开了一种容器环境下的MPI应用性能优化方法及系统，该方法包括：接收来自用户端的描述参数并进行参数检查，申请对应的物理资源和请求启动相应的容器；记录并接管容器的启动过程，为每个位于同一物理主机上的容器子集申请共享的PID namespace、IPC namespace和共享内存；确认容器就绪，判断通信对端是否为共居进程，并按照预设规则进行MPI进程间通信。该系统包括：面向MPI的容器编排模块、面向Docker容器的组管理插件和面向MPI进程的局部性检测插件。通过使用本发明，实现提高容器环境下的MPI应用运行效率。本发明作为一种容器环境下的MPI应用性能优化方法及系统，可广泛应用于容器和高性能计算领域。

技术领域

本发明涉及容器和高性能计算领域，尤其涉及一种容器环境下的MPI应用性能优化方法及系统。

背景技术

容器(Container)技术借助操作系统内核在资源管理和命名空间方面的特性，以微小的性能损失为代价，提供了轻量级的、隔离的操作系统环境，配合容器的镜像机制，可以在不同的物理机器之间实现软件栈的快速迁移和部署。目前容器技术已在各种规模的软件工程的研发、测试、部署等环节中有重要应用。

消息传递接口(Message Passing Interface,MPI)是高性能计算领域中使用最广泛的通信中间件，它的主要优势体现在通信效率方面，许多大型的科学计算软件都使用MPI作为底层通信组件。传统高性能计算的物理集群由成百上千台多核节点组成，MPI应用会根据使用的CPU核数创建对应数量的MPI进程，然后在进程间交换数据。在物理集群中，位于某一主机上的MPI进程会检测与识别其他MPI进程是否与其位于同一主机(位于同一物理主机上的进程称为共居进程)，如果某两个进程是共居进程，那么二者在通信时会通过共享内存来交换数据；对于不在同一物理主机上的进程，二者的通信主要通过网卡来交换数据。共居进程之间的数据交换效率要大大高于非共居进程之间的数据交换效率。

随着高性能集群用户的需求越来越多样、现代大型科学计算软件的安装、配置、运行环境管理越来越复杂，在物理集群中维护软件环境变得非常棘手。容器技术在HPC环境下的应用因此受到越来越多的关注。然而，由于容器的隔离特性，每个容器中的进程都认为自己处于容器创造出来的“虚拟主机”中，即使两个容器运行在同一个物理主机上，容器中的MPI进程也无法检测和识别到其他容器中的MPI进程实际上是与自己在物理上共居的，从而导致位于同一物理主机上的不同容器内的MPI进程也会通过网卡来进行通信。经过测试，这种行为会大幅降低通信密集型的MPI应用的整体运行性能，浪费计算资源，拉低计算效率。

发明内容

为了解决上述技术问题，本发明的目的是提供一种容器环境下的MPI应用性能优化方法及系统，可以在高性能计算环境下启动基于容器的MPI作业，在充分利用容器技术便利性的同时，性能损失更小。

本发明所采用的第一技术方案是：一种容器环境下的MPI应用性能优化方法，包括以下步骤：

接收来自用户端的描述参数并进行参数检查，申请对应的物理资源和请求启动相应的容器；

记录并接管容器的启动过程，为每个位于同一物理主机上的容器子集申请共享的PID namespace、IPC namespace和共享内存；

确认容器就绪，判断通信对端是否为共居进程，并按照预设规则进行MPI进程间通信。

进一步，还包括：

输出结果并反馈至用户端。

进一步，所述接收来自用户端的描述参数并进行参数检查，申请对应的物理资源和请求启动相应的容器这一步骤，其具体包括：

接收来自用户端的描述参数并检查输入、输出、使用资源数量是否为有效参数；

确认到描述参数为有效参数，向集群作业调度器申请对应的物理资源；