[发明专利]基于深度增强学习的工作流调度方法

摘要

本发明公开了基于深度增强学习的工作流调度方法，包括如下步骤：步骤A)收集实际执行环境中的任务执行DAG工作流有向无环图M张，作为样本池；步骤B)对每张DAG工作流有向无环图进行MDP马尔科夫决策过程建模，生成任务状态集合S；步骤C)根据神经网络的训练方法DQN，将M张DAG工作流有向无环图生成的任务状态集合S和对应的已知动作集合A作为输入，代入深度神经网络公式，求得神经网络参数矩阵的值。本发明通过上述方法，解决目前分布式环境下工作流调度方法执行时间长，泛化性差的缺陷，加速保证算法的时间效率，同时增加算法本身的泛化性能，让调度机器能够根据实际场景特征自主学习调度策略。

主权项

基于深度增强学习的工作流调度方法，其特征在于，包括如下步骤：步骤A)收集实际执行环境中的任务执行DAG工作流有向无环图M张，作为样本池；步骤B)对每张DAG工作流有向无环图进行MDP马尔科夫决策过程建模，生成任务状态集合S；步骤C)根据神经网络的训练方法DQN，将M张DAG工作流有向无环图生成的任务状态集合S和对应的已知动作集合A作为输入，代入深度神经网络公式Q(s,a；θi)，求得执行任务i时的神经网络参数矩阵θi的值，Q为动作价值函数，s为任务状态集合S中的一个，a为动作集合A中的一个调度方案；步骤D)判断DAG工作流有向无环图生成的任务状态集合S是否全部依次代入神经网络的训练方法DQN，如果全部代入，则输出最终的神经网络参数矩阵θi的值，如果没有则继续执行神经网络的训练方法DQN；步骤E)对于新输入的DAG工作流有向无环任务，同样进行MDP马尔科夫决策过程建模，生成初始任务状态S0，代入步骤D)中的深度神经网络公式Q(s,a；θi)，其中θi的值为步骤D)中计算得到的值，即可获得最终的动作集合A中的一个调度方案a，并且将这次输入DAG工作流有向无环图的任务状态以及调度结果输入到样本池。