[发明专利]基于拓扑感知的高性能计算系统运行环境部署加速方法及系统

说明书

本发明公开一种基于拓扑感知的高性能计算系统运行环境部署加速方法及系统，该方法步骤包括：S01.基于网络拓扑结构，在登陆结点上维护代理结点集以及每个代理结点的附属结点集；S02.当接收到用户发送的部署请求时，获取请求中计算结点列表，根据计算结点列表生成运行环境部署树，其中将代理结点配置为靠近根结点，以及将附属结点配置为树结构中代理结点的子结点，并设置为叶结点；S03.按照生成的运行环境部署树，将所需文件以及树结构体从第一层依次向下进行分发，每层按照接收到的树结构查询自己的下一层结点并继续向下分发，直到所有的叶结点接收到完整的文件。本发明能够感知网络拓扑，高效的实现运行环境部署加速。

技术领域

本发明涉及高性能计算系统技术领域，尤其涉及一种基于拓扑感知的高性能计算系统运行环境部署加速方法及系统。

背景技术

在高性能计算系统中，物理结点主要分为登录结点和计算结点。用户的经典使用模式为：用户登录到高性能计算系统中的登录结点上，进行作业的开发调试以及运行环境的配置，然后将作业以及运行环境部署到相应的计算结点上，最后用户通过作业管理系统或者资源调度系统来运行自己的作业。在上述过程中，用户将作业及其运行环境部署到计算结点上的任务需要用户手动完成，或者用户联系系统管理员来帮忙完成。

针对上述过程，目前的运行环境部署主要存在以下几种模式。

一、基于点对点拷贝的部署方式

该类方式是最简单也是最传统的方式，就是用户将作业及其依赖的环境手动地从登录结点一一拷贝到指定的计算结点。这种方式显然是效率极低的，整个部署过程将会额外消耗用户大量的时间，并且随着作业使用的计算结点的规模增大，用户的负担将越来越重。

目前对该类部署方式也在不断寻求改进，如目前较为成熟的并行化拷贝机制，可以实现将登录结点上的作业及环境同时拷贝到多个计算结点。相对于传统的拷贝过程，这样的方式明显提高了效率，但是依然无法摆脱登录结点的带宽和网络传输能力的限制，尤其当计算结点的规模增大时，登录结点的压力过大，依然无法高效、迅速地完成运行环境的部署。

二、基于全局共享文件系统的部署方式

在高性能计算系统中，一个或者多个远程高速存储服务器担任全局共享文件系统，所有计算结点和登录结点都能访问到这里的数据。对用户来说，一种简单的运行环境部署方式是，用户的作业开发调试，以及相应的用户依赖库均在这个全局共享文件系统中进行，然后在运行作业的时候需要指定若干相关的路径。这种使用方式下，用户不需要再将作业及其运行环境配置到计算结点上，只需要在共享存储中操作即可。

但是该类部署方式会存在以下缺点：

1.全局共享存储文件系统的带宽和访问数据的能力有限，当大量计算结点运行同一个作业时，很可能同时访问这个共享文件系统中同一个文件，这时很容易达到性能瓶颈，从而影响整个作业的执行效率。

2.全局共享文件系统是一个公共存储，多个用户可能同时将作业和相关环境配置到共享文件系统上，不同用户之间的配置可能产生冲突，比如两个用户可能都需要修改同一个配置文件，这时就会引发环境配置冲突。

高性能计算系统具有特殊的网络拓扑结构，在高性能计算系统中并不是所有的计算结点都是平行的关系。例如，可能多个计算结点集成在一块物理主板上，以每块物理主板上八个计算结点为例，这八个计算结点可能使用其中的1-2个结点作为高速网络代理结点，负责直接与上层路由进行通信。以每个物理主板上一个结点最为高速网络代理结点为例，其他7个结点均为该代理结点的附属结点，与上层路由之间收发消息时都必须经过该物理主板上的代理结点。每个主板的网络拓扑结构如图1所示，在这种网络拓扑下，高性能计算系统中的计算结点之间的关系并不是完全平行的，而是存在着代理结点和附属结点两大类，代理结点有着更加高效的网络传输性能。