[发明专利]数据中心中基于工作流关键路径的任务优化调度方法

说明书

技术领域

本发明涉及一种数据中心中基于工作流关键路径的任务优化调度方法，属于云计算的技术领域。

背景技术

数据中心中针对任务的资源节点调度方法是云计算技术领域中的主要研究内容。用户向数据中心提交需要部署在数据中心上的应用时，该应用是由需要数据中心进行处理的数据流和对这些数据进行分析的工作流所组成。其中用户需要数据中心进行处理的数据流可能是单一数据流，更多情况是多个数据流。资源节点调度方法负责给用户分配数据中心处理数据所需的资源节点，并确保分配给用户的每个资源节点都被有效、合理的利用。资源节点是利用虚拟化技术配置的虚拟服务器，该虚拟服务器上部署了用户提交的数据处理任务。数据中心针对任务的资源节点调度方法主要关注两方面：用户的资源节点需求预测与保证方法，以及数据中心对资源节点优化调度方法。其中：

用户的资源节点需求预测与服务保证方法：数据中心通过对用户需求的预测调度相应数量的资源节点，以节省资源节点的租金花费；还要对资源节点合理设置在服务器集群中的物理区域，保障用户实现服务层次上的目标。为了更好地达到资源节点优化利用的目标，数据中心资源节点调度方法希望使用最少的资源节点来满足用户的服务需求。由于在运行环境中，用户对数据中心的资源节点需求、即其应用服务的处理数据工作量始终处于变化之中，导致用户对服务的期望与当前用户的实际资源节点使用情况存在差距。因此，数据中心的资源节点调度方法必须要利用概率统计等一系列数学方法快速、准确地预测应用服务处理数据的工作量，进而估计需要使用的资源节点数量。同时，依据未来一段时间用户对资源节点的需求特点对数据中心的资源节点在物理服务器上的部署分配方案进行对应调整，保障数据中心承诺给用户的服务质量不会改变。

数据中心对资源节点的优化调度方法：数据中心为部署在其上的多个应用分配资源节点时，产生的资源竞争与优化问题而相应提出对资源节点进行优化调度方法。其目标是让数据中心的资源节点能够得到充合理利用，其主要方法可为两种：基于优先级的优化调度方法和基于工作流的优化调度方法。其中：

基于优先级的资源节点优化调度方法是：针对数据中心中组成应用的子任务的不同特点来对分配资源节点，即在某些类型约束条件(如数据中心资源节点的资源利用率、数据中心系统软件的运行环境等)下，将子任务的自身特点量化为相应的权值，并按照子任务的权值大小排序。然后，数据中心以子任务的权值顺序作为资源节点的调度顺序，将合适数量的资源节点优先分配给优先级最高的子任务。

基于应用工作流的优化调度方法是：使用应用的工作流来描述负载的应用执行过程，该方法是针对应用的工作流的特点分配给工作流中每个子任务适当数量的资源节点。其中，应用的工作流用于描述部署在数据中心上的复杂应用，并由工作流的子任务以及各个子任务间的依赖关系所组成。在具体资源节点优化调度方法中，应用的工作流被形式化描述为一个有向无环图，通过对该工作流图的子任务分配适当数量的资源节点形成应用的执行计划。而对该工作流图的调整与优化都是基于工作流的资源节点优化调度。

目前，基于应用的工作流的资源节点优化调度方法是根据应用的工作流图进行优化的，在工作流图自身的约束条件与其他约束条件(包括时间约束条件、能耗约束条件或均衡负载等等)之间获取平衡，对分配给工作流的资源节点租金费用或资源节点的执行效率执行优化处理。一些资源节点优化调度算法在设定约束条件下，不仅可以给出应用的资源节点优化调度方案，还可以给出这类优化问题的资源节点租用的最优方案，也就是给出一个帕累托优化曲线来指明该类问题的最优解分布情况。在基于工作流的资源节点优化调度方法中，工作流图的子任务的自身特点互不相同(如：执行顺序、硬件系统属性与数据中心的不同网络结构等)，会导致资源节点优化调度方案的最优解会发生显著变化。

综上所述，基于应用的工作流的资源节点优化调度方法能够更好地满足复杂应用的子任务资源节点优化调度问题，并可以显著提高系统的优化效果。

然而，当前工作的不足之处是：没有考虑到应用的工作流中子任务对于数据中心资源节点的需求差异。因为每个子任务实现不同的数据处理目标，对于资源节点的需求必然存在差异。因此，在子任务对资源的需求存在差异的条件下，为了优化系统资源节点的租用开销、提高整个系统的执行效率，需要考虑对工作流中各个子任务的资源节点租用花费与其产出之间的投入与产出的比例关系，即需要考虑资源节点调度方法的性价比对系统性能的影响。