[发明专利]一种数据密集型工作流调度方法及系统

权利要求书

1.一种数据密集型工作流调度方法，其特征在于，包括以下步骤：

以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；

根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；

基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。

2.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，若工作流包括多个入口任务或多个退出任务，添加一个零成本伪入口或零成本伪出口，将零成本伪入口分别与多个入口任务连接，将多个退出任务连接至零成本伪出口生成新工作流。

3.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，所述数据资源矩阵用于记录各个计算主机中包含的数据资源；所述带宽矩阵用于记录计算主机两两之间的带宽。

4.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，对工作流中任务的执行顺序进行调度包括：

获取每个任务所在的所有路径，根据各个路径的花费，得到每个任务的权重；

获取父任务已完成的未调度任务集，根据权重和时间花费，确定各个任务的优先级。

5.如权利要求4所述的一种数据密集型工作流调度方法，其特征在于，所述得到每个任务的权重包括：

根据工作流相应的有向无环图，计算入口任务T_entry到退出任务T_exit之间所有路径的花费；

对于每个任务，获取其所在的所有路径和相应花费，将其中的最大花费记为该任务的权重。

6.如权利要求5所述的一种数据密集型工作流调度方法，其特征在于，确定各个任务的优先级包括：

获取父任务已完成的未调度任务集，确定其中权重最高的任务；

对于每个任务，计算其在当前所有空闲资源上的最早完成时间，得到完成时间最短的两个时间花费；

根据权重和任务完成的时间花费，判断权重最高的任务以及任务集中其他任务之间的优先级。

7.如权利要求1所述的一种数据密集型工作流调度方法，其特征在于，对待执行任务的计算资源和数据资源进行调度包括：

获取待调度任务所需的数据资源类型和数据资源大小；

对于所需的每个数据资源类型，根据数据资源矩阵和该数据资源大小，得到拥有该数据资源的数据主机，以及各主机中该数据资源的大小；

根据各个数据资源在各个主机中的分布和大小，以及带宽矩阵，得到传输时间矩阵；

根据数据传输矩阵，对待调度任务所需的每个数据资源计算传输时间最短时对应的数据主机和计算主机。

8.一种数据密集型工作流调度系统，其特征在于，包括：

工作流建模模块，以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；

资源矩阵建立模块，根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；

任务调度模块，基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述数据密集型工作流调度方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述数据密集型工作流调度方法。