[发明专利]一种基于强化学习的跨数据中心网络任务调度方法

摘要

一种基于强化学习的跨数据中心网络任务调度方法，主要解决跨数据中心网络中通过强化学习的方式实现任务自适应实时调度与三种资源均衡有效使用的问题。具体步骤包括：1.生成训练数据集；2.生成强化学习的状态空间和动作空间；3.计算动作空间中可行动作的奖励值；4.训练强化学习任务调度模型；5.调度跨数据中心网络中实时到达的任务。本发明通过采用强化学习方法实现跨数据中心网络的任务调度，以三维资源均衡且有效利用为目标，优化了跨数据中心网络的性能，提高了跨数据中心网络的资源利用率。

主权项

1.一种基于强化学习的跨数据中心网络任务调度方法，其特征在于，计算动作空间中可行动作的奖励值，训练强化学习任务调度模型，调度跨数据中心网络中实时到达的任务；该方法的步骤包括如下：(1)生成训练数据集：将一段时间内用户的历史任务资源请求，组成训练数据集；(2)生成强化学习的状态空间和动作空间：(2a)将用户的历史任务资源请求以及跨数据中心网络中各数据中心的计算资源、内存资源、硬盘存储资源信息，组成强化学习的状态空间；(2b)将跨数据中心网络中所有节点集合，组成强化学习的动作空间；(3)计算动作空间中可行动作的奖励值：(3a)按照下式，计算每个数据中心的归一化剩余计算资源、归一化剩余内存资源、归一化剩余硬盘存储资源中的最小值，将该最小值作为该数据中心的归一化可用资源：其中，R_l表示第l个数据中心的归一化可用资源，min表示取最小值操作，R_l,CPU表示第l个数据中心剩余的计算资源，C_l,CPU表示第l个数据中心的计算资源总量，表示第l个数据中心的归一化剩余计算资源，R_l,Mem表示第l个数据中心剩余的内存资源，C_l,Mem表示第l个数据中心的内存资源总量，表示第l个数据中心的归一化剩余内存资源，R_l,Disk表示第l个数据中心的剩余硬盘存储资源，C_l,Disk表示第l个数据中心的硬盘存储资源总量，表示第l个数据中心的归一化剩余硬盘存储资源；(3b)按照下式，计算每个数据中心的三种归一化可用资源的均衡度：其中，B_l表示第l个数据中心的三种归一化可用资源的均衡度，表示开立方根操作；(3c)按照下式，计算动作空间中可行动作的奖励值：其中，r表示动作空间中可行动作的奖励值，∑表示求和操作，L表示数据中心集合；(4)训练强化学习任务调度模型：利用深度Q网络方法，对神经网络进行训练，得到训练好的强化学习任务调度模型；(5)调度跨数据中心网络中实时到达的任务：(5a)采集跨数据中心网络中实时到达的每一个任务资源请求，用每一个实时到达的任务资源请求更新状态空间中的任务资源请求信息；(5b)将更新后的任务资源请求以及各数据中心的计算资源、内存资源、硬盘存储资源信息，输入到训练好的强化学习任务调度模型中，输出跨数据中心网络的任务调度资源分配向量；(5c)按照任务调度资源分配向量中每个任务对应可行动作的节点序号，将每个任务分配到对应的数据中心。