[发明专利]实现动态工作流最优计算的海量异构服务器互连方法

说明书

本发明公开了实现动态工作流最优计算的海量异构服务器互连方法，包括以下步骤：S1：获取DAG工作流中没有前置依赖的任务，并将对应的任务请求发送至任务调度器；S2：任务调度器接收到任务请求后，将当下分布式系统中可利用资源和待分配任务作为强化学习算法的输入，强化学习算法输出任务执行的优先级并基于贪心算法依次将任务分配给边际效益最大的服务器进行运算处理；S3：完成当前阶段的任务分配后，若一个任务已经完成执行，则对应的服务器将向任务调度器发出异步通知，任务调度器再次在等待队列的任务中选择没有前置依赖的任务，并开始新一轮的强化学习的任务调度与分配。本发明提高了任务调度的响应速度，增强了处理方法在复杂环境下的稳定性。

技术领域

本发明涉及分布式系统任务调度技术领域，更具体地，涉及实现动态工作流最优计算的海量异构服务器互连方法。

背景技术

任务调度问题是分布式计算领域中的基本问题。现实中，任务之间往往存在相互依赖关系，构成了一个工作流，它一般可由有向无环的任务图(DAG)来表示。已有的技术有以下几类：

随机过程模型方法类：利用离散时间马尔科夫随机过程的遍历性或平稳分布的方法进行DAG吞吐量的优化。虽然有理论证明，可以保证较好的性能，但往往需要较长的算法执行时间，不能够快速地给出响应。

遗传、进化，粒子群等启发式方法：利用随机搜索的办法解决DAG任务调度中的优化组合问题。没有理论证明，性能忽好忽坏不够稳定。

现有技术中，公开号为CN111191934A，于2020年5月22日公开了一种基于强化学习策略的多目标云工作流调度方法，通过利用指针网络对强化学习Agent进行改进形成改进后的深度强化学习算法构建基于强化学习策略的工作流调度模型，使得工作流调度模型能适用于不同大小、不同类型的云工作流调度问题，在保证较高时效性的同时，提升模型的泛化能力。该方案没有充分考虑任务调度中的边际效用及任务计算负载。

发明内容

本发明为克服上述现有技术中分布式系统中任务调度没有充分考虑任务排序及边际效用的缺陷，提供实现动态工作流最优计算的海量异构服务器互连方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

实现动态工作流最优计算的海量异构服务器互连方法，包括以下步骤：

S1：获取DAG工作流中没有前置依赖的任务，并将对应的任务请求发送至任务调度器；

S2：任务调度器接收到任务请求后，将当下分布式系统中可利用资源和待分配任务作为强化学习算法的输入，强化学习算法输出任务执行的优先级并基于贪心算法依次将任务分配给边际效益最大的服务器进行运算处理；

S3：完成当前阶段的任务分配后，若一个任务已经完成执行，则对应的服务器将向任务调度器发出异步通知，任务调度器再次在等待队列的任务中选择没有前置依赖的任务，并开始新一轮的强化学习的任务调度与分配。

进一步的，步骤S1中强化学习算法通过n步比较法进行优先级排序处理，具体处理过程为：

设定待排序任务为k个，动作空间数为m，其中mk；

从第一个待排序任务开始每次依次选取m个进行排序，进行比较排序，直至K个全部排序完成。

进一步的，贪心算法的处理流程为：

对于给定优先级排序的任务，从第一个任务开始每个任务均遍历所有主机，选择一个主机j，使得主机j执行当前任务时边际效用最大，则将该任务分配给主机j执行。

进一步的，贪心算法得到任务分配在主机上执行的方案，将该执行方案所得到的总效用作为强化学习的奖赏，返回强化学习算法的给策略梯度网络进行对应的参数梯度更新。