[发明专利]一种通信支撑环境的初始化方法

说明书

本发明公开一种通信支撑环境的初始化方法，包括以下步骤：S1、调用作业管理接口，解析本道作业的资源总数tasksize、各进程在作业中的初始资源序号Sid、资源名列表nodeidlist、资源片内唯一标识mpeidlist、pid列表pidlist、网络设备标识列表guidlist，并按资源列表自然序排列；S2、根据各进程的初始资源序号Sid计算Sid%cg_per_process，从作业系统返回信息中提取满足模cg_per_process为0的进程的相关信息。本发明有助于支撑用户求解更大的问题规模、追求更高的性能，且实现简便，不影响消息性能，用户调用消息接口时无额外开销。

技术领域

本发明涉及一种通信支撑环境的初始化方法，属于高性能计算技术领域。

背景技术

大规模集群环境下通常利用作业管理系统完成系统资源的调度、分配与管理。用户根据并行程序的资源需求调用作业管理接口，作业系统按需申请资源，并将资源列表和必要的信息以约定的数据结构提交给通信支撑环境，通信支撑环境根据作业系统提供的信息完成初始化，为进程间通信做好准备。

进程间通信需要基于包含一系列硬件资源和软件资源构成的通信上下文。硬件资源即指通信队列资源，包括发送队列、接收队列以及完成队列等物理资源，每一类物理资源均需占用相应的内存空间；同时，上层通信接口和底层消息库均需维护一系列数据结构，以实现资源管理服务，达到对上述物理资源的高效管理与利用。此外，还需要申请一些缓冲，用于存放用户消息请求以及实现短消息的预投递，因此任意两个进程间的通信通路均需要一定量的内存空间，该部分空间随进程规模扩大而增大。

当前许多面向高性能计算领域的处理器均支持一定范围的共享内存，基于共享内存，处理器内不同计算资源可以实现数据交互。共享内存的合理使用可有效提高处理器内的数据复用程度，降低整个芯片的通信需求，进而提升性能。正是基于上述考虑，一些实际应用中并非每个进程都需参与消息传递，而是若干进程基于实际任务划分需求，利用共享内存实现协同运算，而后由少量进程完成数据交互。

通信支撑环境作为大型机群上的公共支撑环境，需要满足不同用户的需求，支持各种可能出现的、符合规范的通信需求。因此，通信支撑环境通常要求并行程序的每个进程都必须调用初始化接口，为可能发生的消息传递做好软硬件准备，初始化过程中，上层通信接口及底层消息库需创建并维持诸多数据结构和缓冲空间，以实现并满足并行程序的通信需求，这部分内存开销非常可观，而且其中部分开销还会随着进程数扩大而不断增大。然而并行程序中并非每个进程都有通信需求，尤其是对于有共享内存的体系结构而言，每个处理器只需要个别进程收发消息即可，其余进程的初始化只会带来内存的浪费和进程规模的扩大，并没有实际意义。这会导致应用中实际无通信需求的进程也被迫申请物理资源、占用内存和管理数据结构，扩大了进程规模，造成内存空间和物理资源的浪费。一些应用对内存容量需求较大，更大的内存空间能够帮助应用实现更大问题规模的求解或性能的提升。

发明内容

本发明的目的是提供一种通信支撑环境的初始化方法，其有助于支撑用户求解更大的问题规模、追求更高的性能，且实现简便，不影响消息性能，用户调用消息接口时无额外开销。

为达到上述目的，本发明采用的技术方案是：提供一种通信支撑环境的初始化方法，通过环境变量设置cg_per_process或mapping_file，用于标记有通信需求的进程列表：前者表示（进程号%cg_per_process）为0的进程有通信需求，其余进程无通信需求；后者表示进程映射文件，文件内容为有通信需求的资源序号Sid；

包括以下步骤：

S1、调用作业管理接口，解析本道作业的资源总数tasksize、各进程在作业中的初始资源序号Sid、资源名列表nodeidlist、资源片内唯一标识mpeidlist、pid列表pidlist、网络设备标识列表guidlist，并按资源列表自然序排列，各列表第i个元素即为第i个资源的信息；