[发明专利]一种面向三级并行中间件的计算资源自动分配方法及系统

说明书

本发明公开了一种面向三级并行中间件的计算资源自动分配方法及系统，以分布式技术、中间件和计算机组成结构为指导理论，针对在集群环境下进行大规模计算的任务，本发明提出了一种面向三级并行中间件的计算资源自动分配模型。该模型可将在集群下进行的计算任务进行分析，首先通过消息中间件以队列的形式将任务分配给每个计算单元，然后再计算单元内将任务再次分配给CPU和GPU。本发明除了可以应用在集群上，当任务规模不大时，也可作用于单台电脑。把单机上的计算任务合理分配给CPU和GPU，使二者能够同时进行运算，提高计算速率。利用本发明可以在集群模式下计算任务大的背景下，将计算速度进一步提高。

技术领域

本发明属于计算机学科中的GPU计算、集群计算、多线程、资源调度和中间件技术领域，涉及一种计算资源自动分配方法及系，特别涉及一种对异构系统并行计算中计算任务的合理分配方法及系统，可以有效提高程序在异构系统中并行计算的计算速度。

背景技术

GPU计算是使用GPU(图形处理单元)作为协处理器来加速CPU，以加快科学、分析、工程、消费和企业应用程序的运行速度。GPU通过卸载一些计算密集且耗时的代码部分来加速CPU上运行的应用程序。应用程序的其余部分仍在CPU上运行。从用户的角度来看，应用程序运行得更快，因为它使用GPU的大规模并行处理能力来提高性能。这被称为“异构”或“混合”计算。

CPU由4到8个CPU内核组成，而GPU由数百个较小的内核组成。它们共同运作以应对应用程序中的数据。这种大规模并行架构为GPU提供了高计算性能。有许多GPU加速的应用程序提供了访问高性能计算(HPC)的简便方法。

资源调度即将工作中所需的资源进行分配。在此主要指计算资源，如线程、进程、数据流或者硬件资源等。本发明中指集群中任务的分配和单机上计算任务在CPU和GPU上的分配。

发明内容

本发明目的在于提供一种面向三级并行中间件的计算资源自动分配方法及系统，达到提高计算速度的目的。

本发明的方法所采用的技术方案是：一种面向三级并行中间件的计算资源自动分配方法，包括以下步骤：

步骤1：采用程序插桩方法对程序的运行时间进行预测，具体实现包括以下子步骤：

步骤1.1：定位循环语句和分支语句，再循环结构中插桩和分支语句中插桩，获取循环次数和分支数；

步骤1.2：定位MPI通信函数，对MPI通信函数进行插桩，获取通信数据量；

步骤1.3：将对原程序插桩后的新程序作为预测对象，插桩完毕后，输入运行新生成的程序，获取CPU运行时间，GPU运行时间，程序总体运行时间的输出值，并作为输入再次进行计算，循环执行若干次，直至达到预期值，即输出值稳定，误差小于0.001；

步骤2：将计算任务进行划分，将计算任务合理地分配给任务执行单元的CPU和GPU进行计算，实现资源调度与负载均衡。

本发明的系统所采用的技术方案是：一种面向三级并行中间件的计算资源自动分配系统，包括以下模块：

模块1，用于采用程序插桩方法对程序的运行时间进行预测，具体实现包括以下子模块：

模块1.1，用于定位循环语句和分支语句，在循环结构中插桩和分支语句中插桩，获取循环次数和分支数；

模块1.2，用于定位MPI通信函数，对MPI通信函数进行插桩，获取通信数据量；

模块1.3，用于将对原程序插桩后的新程序作为预测对象，插桩完毕后，输入运行新生成的程序，获取CPU运行时间，GPU运行时间，程序总体运行时间的输出值，并作为输入再次进行计算，循环执行若干次，直至达到预期值；

模块2，用于将计算任务进行划分，将计算任务合理地分配给任务执行单元的CPU和GPU进行计算，实现资源调度与负载均衡。