[发明专利]一种基于Kernel合并的GPU任务调度系统及方法

说明书

本发明公开了一种基于Kernel合并的GPU多任务调度系统及方法。包括任务分析模块、Kernel合并模块、任务调度模块和任务存储队列。用户提交GPU任务至任务存储队列，任务分析模块计算任务间的合并加速比，任务调度模块计算最优的合并调度顺序，并交至Kernel合并模块合并执行，获得最大任务吞吐率；本发明采用一般图的最大匹配计算最优合并调度顺序。通过任务分析模块计算任务的合并加速比；其次根据任务合并加速比构造无向图；通过二分图匹配算法计算最优的任务合并调度顺序；根据顺序调度任务组完成任务计算。本发明完成了上述功能的设计细节、实现算法和编码工作，提升了多任务下GPU的资源利用率。

技术领域

本发明属于计算机应用领域，具体涉及一种基于Kernel合并的 GPU任务调度系统及方法。

背景技术

异构并行编程模型随着GPU的发展而兴起,由于GPU保留了许多流式处理器的特征,因此早期的异构并行编程模型秉承了流式编程思想.流(stream)是这类编程模型的核心,stream是一组数据的集合,计算在stream的每个数据元素上并行执行,符合单指令多数据(SIMD) 或多指令多数据(MIMD)的执行模式。在这种背景下,伴随着NVIDIA GPU在商业上获得的巨大成功,2007年出现的CUDA。然而,CUDA 仅能在以NVIDIA GPU为加速设备的异构系统中使用,于是,2008年底出现了多家公司共同制定的跨平台异构并行编程框架标准OpenCL, 它适用于任何并行系统。OpenCL将实际的不同硬件平台抽象为一个统一的平台模型。

随着光刻技术不断发展，单个GPU存储体系日趋复杂，单片计算单元数量不断提升使得单GPU算力得到了极大的增强。对于一般地可加速并行任务，则必须针对硬件及任务特点，采用一定的编程策略才能最大化发挥硬件性能。另外，单个计算任务往往很难均衡地发挥单个芯片的计算资源，需要使用一定的策略使计算任务能并发地执行，提升任务吞吐率以及GPU资源利用率；在上述前提下，如何合理安排任务并发，以获得多任务下最大吞吐率也是亟待解决的问题。

发明内容

本发明的目的在于提供一种基于Kernel合并GPU任务调度系统及方法。该系统主要包括任务分析模块、Kernel合并模块、任务调度模块和任务存储队列四个部分。本方法采用开放编程语言OpenCL，降低Kernel任务执行的时间，提高GPU资源利用率。本发明给出一种通过构建无向图描述任务加速比的方法，调度器通过求解最大匹配问题，得到最优的GPU任务合并调度方式，以获得最大的任务吞吐率。本方法为用户提供API接口，并完成了上述功能的设计细节、实现算法以及编码工作。本发明实现了基于Kernel合并的多GPU任务调度系统，屏蔽底层设备的差异性，并且该系统架构具有充分的灵活性和可扩展性。

为了实现上述目的，本发明采用如下技术方案：

一种基于Kernel合并的GPU任务调度系统，所述任务调度系统部署于单个异构计算节点，所述异构计算节点至少包括一块CPU和 GPU；所述任务调度系统包括任务存储队列、任务分析模块、Kernel 合并模块、任务调度模块四个组件，按顺序关系完成工作；具体包括：

任务分析模块，用于接收用户提交的GPU任务，分析任务类型及输入数据规模，计算任务间的合并加速比，并构造所述任务的合并加速比矩阵Speed[i][j]，存储两个GPU任务的合并执行加速比；

Kernel合并模块，用于接收两个GPU计算任务，对两个GPU计算任务的Kernel函数进行合并，形成一个大Kernel函数，等效于在GPU 上实现Kernel函数的并发执行，同时接收所述任务的输入数据，向用户返回所述任务的计算结果，并给出执行时间等调试信息；

任务调度模块，用于根据所述任务分析模块构造的任务合并加速比矩阵Speed[i][j]，构造任务加速关系无向图G(E，V，w)，其中E表示无向图的边集，V表示无向图的点集，w表示无向图的权值集，计算最优的计算任务合并对，将任务对传送给所述Kernel合并模块进行合并计算，获得最大任务吞吐率；