[发明专利]数据中心中基于工作流关键路径的任务优化调度方法

权利要求书

1.一种数据中心中基于工作流关键路径的任务优化调度方法，其特征在于：数据中心接收到用户提交并需要部署在数据中心上、由数据中心进行处理的数据流和对这些数据进行分析的工作流组成的应用时，数据中心根据应用的工作流中各个子任务之间的差异，确定影响系统性能的关键因素，根据优化目标和工作流特点对各个子任务执行性价比的比较，确定分配给各个子任务的资源节点，以使基于用户不同需求有效调度资源节点，使得租用的资源节点费用最优化或工作流的处理时间最优化：即实现单位资金所购买的数据处理能力最大化而节省资源的租金费用，或提高系统性价比和增强系统运行效率而降低工作流的处理时间，同时生成资源节点执行计划；该方法包括下列操作步骤：

步骤1，数据中心设置每个应用的工作流的资源节点优化调度模型：该工作流的资源节点调度模型是遵循工作流的处理流程，根据用户实际需求对工作流中的子任务分配适宜数量的资源节点、即虚拟服务器，并生成执行计划；同时基于工作流子任务特性，评估资源节点分配的有效性，在不破坏工作流的逻辑结构前提下，优化工作流的资源节点使用数量；

步骤2，根据已部署应用的工作流图确定工作流的下述特性：工作流的关键路径、使用资源节点的类型、工作流中子任务的计算能力与部署子任务时该类型资源节点的性价比；因工作流图中每个子任务的资源需求与计算能力各不相同，根据图论知识从该工作流图中寻找到一条关键路径，作为子任务资源节点优化调度方法的资源分配依据；

步骤3，数据中心根据每个工作流子任务特性与各个子任务间的依赖关系，确定工作流图中的数据传输时间；

步骤4，合并子任务：根据优化目标，对工作流图的子任务选择传输时间最大的边的两端子任务进行合并，生成新的复合子任务，减少子任务间数据传输时间：实际部署方法是将两个子任务部署在同一台物理机上，减少该两个子任务的资源节点间的数据传输时间；所述步骤4包括下列操作内容：

(41)分别计算各个应用的工作流子任务间的数据传输的工作量，数据传输的工作量越大，则用于传输的时间消耗越大，所花费的租金越高；

(42)为减少子任务间的数据传输时间，以子任务间数据传输工作量作为衡量传输费用的指标，从大到小依次将工作流图中传输时间最大的边两端的子任务进行合并，成为新的复合子任务；在对应用的工作流子任务进行合并时，会因不同的约束目标，造成其合并方法也有所不同：

(A)在设定时间约束条件下，使用最少资源节点合并子任务的方法是：先确定工作流图的关键路径，根据关键路径上子任务的数据传输时间按照由高到低的顺序使用所述步骤(42)的路径合并方法，将关键路径上的子任务合并为新的复合子任务，减少数据传输的时间消耗；

(B)在资源节点设定数量约束条件下，缩短应用工作流的子任务完成时间的合并方法是：先将工作流图中每个工作流子任务间的边按照数据传输时间的长短进行降序排序，再使用所述步骤(42)的子任务合并方法，对子任务进行合并，直到工作流中没有子任务与其它非复合子任务进行合并为止；

(43)因规定合并过程中的复合子任务不再与其他子任务合并，故在没有任何子任务需要与其它非复合子任务合并时，合并过程结束；

步骤5，调整工作流图；根据用户需求与约束条件，为用户分配资源节点；在为目标用户分配资源节点时，根据优化目标通过比较子任务的性价比来决定如何给各子任务分配资源节点，最终生成应用的执行计划；所述步骤5包括下列操作内容：

(51)调整合并后的工作流图的结构，并确定新工作流图的关键路径；

(52)根据优化目标，在设定时间约束条件下，执行资源节点优化调度方法：先为工作流的关键路径上的子任务分配资源节点，再为剩余的子任务分配能够达成优化目标所需的数量最少的资源节点；或者

(53)根据优化目标，在资源节点设定数量的约束条件下，执行资源节点优化调度方法：利用穷举的方法优先为工作流的关键路径上的子任务分配资源节点，再为剩余的子任务分配能够达成优化目标所需的数量最少的资源节点。

2.根据权利要求1所述的方法，其特征在于：所述工作流定义为一组子任务及其依赖关系，即一个以工作流图描述的应用的逻辑执行过程；所述工作流图是一幅有向无环图，图中的节点表示工作流的子任务，连接线或边表示各子任务之间的依赖关系，即子任务之间的数据传递；工作流的子任务是应用中分 析数据的最小单元，不同子任务对于资源节点的使用需求与资源节点的处理能力存在着差异；数据中心基于每个应用的工作流子任务，根据用户实际需求分配设定数量的资源节点，最终形成该应用的执行计划。