[发明专利]一种基于深度强化学习的数据中心资源离线调度方法

说明书

本发明涉及计算机技术领域，特别涉及一种基于深度强化学习的数据中心资源离线调度方法。深度强化学习可以为资源调度管理的人为启发式方法提供一个可行的替代方案。通过不断学习，深度强化学习方法可以针对特定工作负载(例如周期性负载或随机负载)进行优化，并在各种条件下保持高质量优化调度结果。把最小化平均作业slowdown(系统减缓时间)作为优化目标，通过计算离线调度中每一次调度的奖励值，引导深度网络向着目标优化，最终向着最优目标训练。结果显示，在本发明的大量实施例测试中，使用深度强化学习的离线调度方法的slowndown远低于SJF(最短作业优先算法)等传统的优化作业调度方法，体现出深度强化学习方法在这一领域的优势。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于深度强化学习的数据中心资源离线调度方法。

背景技术

资源管理是计算机网络和操作系统中的基本问题。资源分配通常是组合性问题，可以映射成不同的NP难问题。虽然每种资源分配方案都是特定的，但一般的方法是在一定条件下设计具有性能保证的高效启发式算法。最近的研究表明，机器学习可以为资源管理的人为启发式提供一个可行的替代方案，特别是已成为机器学习研究的一个活跃领域的深度强化学习。

实际上，深度强化学习方法尤其适用于资源管理系统。首先，这些系统做出的决定往往是高度重复的，从而为深度强化学习产生大量的训练数据。其次，深度强化学习可以将复杂系统和决策策略建模为深度神经网络。第三，即使缺乏精确的模型，如果存在与目标相关的回报信号，就可以训练那些难以直接优化的目标。最后，通过不断学习，深度强化学习方法可以针对特定工作负载（例如，小型工作，低负载，周期性）进行优化，并在各种条件下保持高效。

发明内容

本发明要解决的技术问题是：提供一种应用于数据中心资源离线调度的深度强化学习算法，成为替代目前高效启发式算法的最优解决方案。

一种基于深度强化学习的数据中心资源离线调度方法，其特征在于，所述数据中心资源离线调度系统包括数据源模块、运行环境模块、评价机制学习模块和控制策略学习模块；

所述数据源模块用于对离线调度作业的数据生成，所述数据源包括作业的所需资源类型（例如，CPU，内存，I/O）、作业的所需资源大小、离线作业的总体数量。

所述运行环境模块用于构建运行环境模型，所述运行环境包含分配的集群资源、等待作业槽。运行环境模块中的所有部分都以单元格的图像表示出来。集群资源显示了每种资源分配给已经计划服务的作业，从当前时间开始，向后展示T时间步长。等待作业槽图像表示等待作业的资源需求。

所述评价机制学习模块将从所述数据源模块与运行环境模块中获得的信息结合评价机制得到运行过程中所需要的奖赏函数，所述奖赏函数作为所述评价机制的反馈数据被所述评价机制学习模块输送至所述控制策略学习模块，进行优化网络参数。

所述控制策略学习模块用于深度强化学习方法的优化策略学习，通过得到的奖赏函数从而用于指导之后的作业调度序列，并通过策略更新神经网络参数，得到所述资源调度作业最终的实际操纵策略。

本发明的前景是广阔的，本发明可以解决数据中心普遍存在高耗能、资源浪费严重等问题。所以，本发明有着很好的应用性，可以给各行各业都带来一定的经济效益。本发明使用的深度强化学习算法相比于现在的算法优点在于其实时性，快速性，可重学习性。

附图说明

图1是本发明一种实施例的深度强化学习的框架示意图。

图2是本发明一种实施例的离线系统的状态示意图。

图3是本发明一种实施例的基于深度强化学习的资源离线调度流程图。

具体实施方式