[发明专利]一种数据密集型工作流调度方法及系统

说明书

本发明公开了一种数据密集型工作流调度方法及系统，所述方法包括以下步骤：以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。本发明通过对工作流关键路径进行分析，得到工作流的关键特征，充分考虑工作流的关键特征，通过使用以数据为中心的算法来减少数据传输时间，将数据密集型工作流程的总体工作量最小化。

技术领域

本发明属于工作流任务调度技术领域，尤其涉及一种数据密集型工作流调度方法及系统。

背景技术

随着科学界和企业界中数据密集型工作流应用的出现，如何有效地对数据密集型工作流程进行调度得到了越来越多的关注。数据密集型工作流程需要访问、处理和传输那些可能在不同数据主机上都有副本的大型数据集，由于这些数据集大，执行时间受数据传输成本的限制。要做到最小化这些数据集传输到执行工作流任务的计算源的时间，需要选择适当的调度策略来最大限度地减少数据密集型工作流的总体使用时间和数据传输的时间。

数据密集型计算环境由生产、操纵或分析数千兆字节到百万兆字节和超出范围内的数据的应用程序组成。这些数据被组织成数据集，通常存储在大容量存储系统中。来自不同位置的用户可以对数据集进行访问，用户可以创建数据集的本地副本，以减少广域数据传输所带来的延迟，从而提高应用性能。数据网格中聚合了计算、存储和网络资源以提供其组合功能。此外，数据网格为需要访问、处理和传输存储在分布式存储库中的大型数据集的分布式数据密集型应用程序提供了诸如低延迟传输协议和数据复制机制等服务。

当前已经开发了许多网格工作流算法，如：DCP-G(网格动态关键路径)算法，在动态网格环境中将工作流中的任务映射到异构资源。但是在某些情况下DCP-G比其他一些算法(如Min-Min和Max-Min)更差，而且典型的网格工作流调度算法，并不是为数据密集型工作流专门设计的，例如贪心随机自适应搜索过程算法，并不会将工作流作为一个整体考虑。由于已安排的任务可能会影响到非计划任务，应该在安排一些任务后，给予每个任务一个权重，并更新权重。异构最早完成时间算法将整个工作流程视为一个整体，并计算平均成本来排序任务。基于DCP-G算法的工作流调度算法，通过在每一步计算工作流任务图中的关键路径来确定任务的有效映射，关键路径上的任务具有最高优先级，但有时候这并不是最佳的选择。

发明内容

为克服上述现有技术的不足，本发明提供了一种数据密集型工作流调度方法及系统，通过充分考虑工作流的关键特征，通过使用以数据为中心的算法来减少数据传输时间，将数据密集型工作流程的总体工作量最小化。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种数据密集型工作流调度方法，包括以下步骤：

以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；

根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；

基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。

一个或多个实施例提供了一种数据密集型工作流调度系统，其特征在于，包括：

工作流建模模块，以工作流中的任务为顶点，根据任务之间的时间关系建立有向边，得到工作流对应的有向无环图；

资源矩阵建立模块，根据计算资源、数据资源和带宽资源，建立数据资源矩阵和带宽矩阵；

任务调度模块，基于最小数据传输时间的方法，对工作流中任务的执行顺序、计算资源和数据资源进行调度。