[发明专利]面向海量工作流任务动态云网络互连方法

说明书

本发明公开了面向海量工作流任务动态云网络互连方法，包括以下步骤：S1：构造可执行节点集合S，所述可执行节点集合S由调度中心负责维护；S2：利用强化学习算法对S内的所有节点进行重要度排序，选出排序后重要度最高的节点，作为下一时刻即将被调度的节点；S3：遍历当前网络中符合资源约束条件的所有主机，根据评估函数，选出当前调度节点将被执行的主机，节点在主机上执行完毕后，立即向调度中心发送通知，并更新可执行节点集合S；S4：重复S2‑S3，直到所有DAG任务的所有节点执行完毕，得到并行分布式作业调度耗费总时间。本发明调度性能更优，耗费的计算资源更少，解决了高并发场景下的调度不确定性问题。

技术领域

本发明涉及并行分布式系统技术领域，更具体地，涉及面向海量工作流任务动态云网络互连方法。

背景技术

分布式系统是指由多个独立的计算机通过通信网络而组成的逻辑集中和物理上分布的系统，多台计算机之间通过通信网络进行连接。各种类型的DAG任务在并行分布式系统上的调度方法主要有以下几种：(1)马尔可夫决策过程方法、(2)启发式方法、(3)随机搜索类方法。马尔可夫决策过程方法的主要思想是利用马尔可夫决策过程将整个DAG划分为多个任务区间，并分别对多个任务区间在分布式系统上进行并行调度，在保证整个DAG在期间内完成的前提下，得到任务-资源映射方案；启发式方法主要根据DAG中各任务的属性与评估函数计算出各任务的优先级，并在调度过程中根据各任务的优先级进行调度。优先级高的任务首先被调度，并遍历分布式系统中的所有可用计算机，将该任务分配到能够最早完成该任务的计算机上；随机搜索类方法借鉴了生物学上“适者生存”的概念，包括了进化算法、蚁群算法、粒子群算法等，常用于解决并行分布式作业调度中的优化组合问题。对于并行分布式系统中的多DAG混合调度，还需要考虑多个DAG任务之间的调度顺序，现有的几种多DAG任务的调度方法主要有以下几种：(1)顺序法，将所有的DAG按一定顺序进行调度，例如按照多个先到先服务(FCFS)来处理；(2)轮转法，轮流从多个DAG中选出一个任务进行执行，直到所有的DAG中的任务全部执行完毕；(3)DAG合并法，将多个DAG通过加入虚假的入口和出口节点复合成一个新的任务，再利用单个DAG的调度方法完成任务。

对于并行分布式系统作业调度方法，现有技术存在以下问题：(1)在对DAG进行调度的过程中，将并行分布式系统视作一个理想环境，忽略了任务在不同计算机上进行传输的时延；(2)对多DAG进行调度的过程中，现有技术只考虑不同的DAG任务各自具有的属性对执行顺序的影响，忽略了分布式系统在某一时刻的实时情况；(3)在对单个DAG进行调度的过程中，现有方法的调度性能取决于评估函数或某些阈值的设置，需要经过大量时间和重复性工作才能得出，耗费成本过高。

现有技术中，公开号为CN106293893A中国发明专利，于2017年1月4日公开了一种作业调度方法、装置及分布式系统，所述分布式系统至少包括中心节点、与中心节点连接的多个控制节点以及每一控制节点分别连接的多个计算节点；中心节点为各个控制节点分配所述作业的任务；控制节点调度各个任务切片在与其连接的计算节点中运行，所述方法包括：调度第一任务的第一控制节点在第一任务的至少一个任务切片运行结束时，通知调度第二任务的第二控制节点获取第一任务的至少一个任务切片生成的运行数据；第二控制节点获取第一任务的至少一个任务切片生成的运行数据，分配给第二任务的每一个任务切片，并调度第二任务的至少一个任务切片运行，处理所述运行数据。该方案没有考虑考虑调度过程中的传输时延和调度顺序问题。

发明内容

本发明为克服上述现有的并行分布式作业调度方法没有考虑任务在不同计算机上进行传输的时延以及拓扑网络的实时情况，提供面向海量工作流任务动态云网络互连方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

本发明第一方面提供了面向海量工作流任务动态云网络互连方法，包括以下步骤：

S1：构造可执行节点集合S，所述可执行节点集合S由调度中心负责维护；