[发明专利]一种分布式环境下的工作流任务调度方法

摘要

本发明公开了一种分布式计算环境下的工作流任务调度方法，使用有向无环图来描述工作流任务和资源，根据节点权值信息和边权值信息计算平均任务执行时间和平均任务传输时间，以据此判断工作流任务类型并进行分类模型处理，将具有数据依赖关系的任务分割成了若干个独立的任务集，每个任务集包含一个或者若干个任务，且每个任务集中的多个任务具有数据依赖关系，从而将工作流任务转化成了“独立任务”。任务集将计算数据量比较大或者数据传输量比较大的任务聚拢在一起，同时降低了需要独立分配的任务数量，从整体上提高了后期任务调度性能。另外，当工作流任务数量增加时，仅需加强对任务的聚拢操作，无需再对所有的任务进行处理，具有更好的扩展性。

主权项

1.一种分布式计算环境下的工作流任务调度方法，其特征在于包括以下步骤：步骤1：使用有向无环图对需要进行调度的工作流任务进行描述，得到工作流任务有向无环图；使用有向无环图对分布式计算环境下的计算资源进行描述，得到计算资源有向无环图；步骤2：根据工作流任务有向无环图以及计算资源有向无环图，计算平均任务执行时间t₁、平均数据传输时间t₂；步骤3：若t₁＞t₂,则被调度工作流任务为计算密集型任务，进入步骤4；若t₁＜t₂,则所述工作流任务为IO密集型任务，进入步骤5；步骤4：根据计算密集型任务的有向无环图的节点权值进行所述有向无环图的更新和分解，得到若干个任务集，进入步骤6；步骤5：根据IO密集型任务的有向无环图的边权值进行所述有向无环图的更新和分解，得到若干个任务集，进入步骤6；步骤6：将得到的若干个任务集根据各任务集的计算数据量进行排序，并将计算资源根据其计算能力大小进行排序；步骤7：根据步骤6的排序结果，将计算数据量大的任务集分配给计算能力大的计算资源。