[发明专利]一种云环境下面向不确定数据密集型工作流的动态调度方法

说明书

本发明提供了一种云环境下面向不确定数据密集型工作流的动态调度方法，解决了在传输数据大小信息缺失带来的调度问题，有助于同步降低工作流的跨数据中心数据传输量与工作流执行成本。首先对工作流结构进行抽象，得到DAG图；接着在部分数据大小信息缺失的情况下进行静态任务预分配，获取各数据中心可执行任务森林图，将森林图中各任务结点按节省传输数据大小排序，将节省数据传输大小最多的任务节点分配在对应的数据中心，并将数据中心上该节点的前驱节点、后继节点都分配在该数据中心，直至所有的任务都预分配完成；然后基于静态任务预分配结果与工作流中各任务执行后实际产生的传输数据大小进行任务分配动态调整，最终得到分配方案。

技术领域

本发明属于云计算领域，特别是云环境下面向不确定数据密集型工作流的动态调度方法。

背景技术

云计算是一种新型计算技术，可以根据用户的使用情况有偿为其提供一种虚拟的、可扩展的、动态的资源。云计算减轻了本地服务器的负担，帮助人们从全球任何地方访问数据，因此，可以将它看作一个数据共享平台。云计算不会由于空间不足而丢失任何数据。这项技术被广泛用于科学研究领域，以增强数据存储能力。工作流是由多个有执行顺序的任务以及任务之间的依赖关系组成的。工作流常用于描述在云供应商上部署的科学应用程序的执行过程，在生物信息学、天文学、物理学、地质学等领域应用广泛。这些领域中许多科学实验都是使用工作流进行的，这使得工作流中的数据越来越密集，数据密集型工作流也越来越多。数据密集型工作流的任务之间需要传输大量的数据并进行复杂的计算，运行工作流时就需要大的存储容量与高的计算能力。工作流调度是指将工作流的每个任务安排到合适的服务商上，以满足用户定义的服务质量，这是工作流的核心问题。数据密集型工作流的执行往往要获取、处理和传输大量的数据，如果将有数据传输关系的任务调度在不同的服务商，就会产生传输费用。不合理任务调度策略会导致数据的传输量过大，严重影响了科学工作流的执行效率。只有合理的调度才能尽可能的减少传输量，从而降低工作流的执行成本。目前工作流的调度方法大多未考虑到数据传输量对执行成本的影响，为此，本专利提出了一种面向不确定数据密集型工作流的动态调度方法。

发明内容

本发明的目的在于在部分数据传输大小缺失的情况下，为了在执行数据密集型工作流期间降低传输数据大小，本发明提出了一种根据该工作流的实际执行情况动态分配任务到服务器的方法，从而克服上述现有技术中的缺陷。

为实现上述目的，本发明提供了一种云环境下面向不确定数据密集型工作流的动态调度方法，首先基于数据依赖性对工作流结构进行抽象；然后根据已知的部分数据传输大小和各数据中心的可执行任务森林图得到每个任务的预分配方案；接着，根据工作流执行期间的实际数据传输大小，动态调整分配方案：最后得到在云环境中执行不确定数据密集型工作流程期间降低传输数据大小的分配方案。

1.本发明进一步限定的技术方案为：

优选地，上述技术方案中，包括以下步骤：

步骤1，抽象工作流的结构。本文通过DAG图来表示工作流，认为工作流是一个有向加权图，前面的任务与后面的任务相连接，前后任务具有数据依赖，边上带有权重，即任务之间的数据传输大小，这是一个典型的数据流结构。为之后工作流调度提供了理论依据。

步骤2，对工作流使用的资源进行了定义。每个数据中心可处理工作流中的一个或多个任务，每个任务可以由一个或多个数据中心调度，通过资源模型定义为进一步进行工作流任务的调度提供了理论依据。

步骤3，获取各数据中心可执行任务森林图。通过资源模型定义结果与DAG图可获得各数据中心的可执行任务森林图，为进一步进行工作流任务的调度提供了理论依据。