[发明专利]一种基于Kernel合并的GPU任务调度系统及方法

摘要

本发明公开了一种基于Kernel合并的GPU多任务调度系统及方法。包括任务分析模块、Kernel合并模块、任务调度模块和任务存储队列。用户提交GPU任务至任务存储队列，任务分析模块计算任务间的合并加速比，任务调度模块计算最优的合并调度顺序，并交至Kernel合并模块合并执行，获得最大任务吞吐率；本发明采用一般图的最大匹配计算最优合并调度顺序。通过任务分析模块计算任务的合并加速比；其次根据任务合并加速比构造无向图；通过二分图匹配算法计算最优的任务合并调度顺序；根据顺序调度任务组完成任务计算。本发明完成了上述功能的设计细节、实现算法和编码工作，提升了多任务下GPU的资源利用率。

主权项

1.一种基于Kernel合并的GPU任务调度系统，其特征在于，所述任务调度系统部署于单个异构计算节点，异构计算节点至少包括一块CPU和GPU；所述任务调度系统包括任务存储队列、任务分析模块、Kernel合并模块、任务调度模块四个组件，按顺序关系完成工作；具体包括：任务分析模块，用于接收用户提交的GPU任务，分析任务类型及输入数据规模，计算任务间的合并加速比，并构造所述任务的合并加速比矩阵Speed[i][j]，存储两个GPU任务的合并执行加速比；Kernel合并模块，用于接收两个GPU计算任务，对两个GPU计算任务的Kernel函数进行合并，形成一个大Kernel函数，等效于在GPU上实现Kernel函数的并发执行，同时接收所述任务的输入数据，向用户返回所述任务的计算结果，并给出执行时间等调试信息；任务调度模块，用于根据所述任务分析模块构造的任务合并加速比矩阵Speed[i][j]，构造任务加速关系无向图G(E，V，w)，其中E表示无向图的边集，V表示无向图的点集，w表示无向图的权值集，计算最优的计算任务合并对，将任务对传送给所述Kernel合并模块进行合并计算，获得最大任务吞吐率；任务存储队列，用于接收用户提交的GPU任务请求，将所述任务的Kernel函数发送至所述任务调度模块。