[发明专利]面向负载-时间窗口的基于DQN云软件资源自适应分配方法

说明书

本发明涉及一种面向负载‑时间窗口的基于DQN云软件资源自适应分配方法。大多数现有方法只考虑工作负载的当前状况，因此无法很好地适应受工作负载波动影响的真实云环境。本发明方法考虑了资源分配过程中的当前和未来工作负载。具体而言，基于工作负载时间窗口的原始Deep Q‑Network（DQN）管理操作预测模型经过培训，该模型可用于预测不同系统状态下的适当管理操作。接下来，设计了一种新的反馈控制机制，通过迭代执行管理操作来构建当前系统状态下的客观资源分配计划。大量的仿真结果表明，该DRAW方法生成的管理操作的预测精度可以达到90.69%。此外，DRAW可以实现最佳/接近最佳性能，并在不同情况下比其他经典方法高出3～13%。

技术领域

本发明涉及一种面向负载-时间窗口的基于DQN云软件资源自适应分配方法。

背景技术

多年来，基于云的广泛应用软件服务快速增长。然而，由于云环境中系统状态复杂多变，在为基于云的软件服务进行资源分配时，要在QoS和资源成本之间实现良好的权衡是非常具有挑战性的。为了应对这一挑战，为基于云的软件服务设计一种自适应资源分配方法至关重要。有一些经典的方法，例如基于规则的、控制理论的和基于机器学习(ML)的方法，可以在一定程度上解决云资源分配的问题。基于规则的方法需要为软件服务定义各种规则，这导致规则设置的巨大成本并限制其在动态云环境中的应用。此外，控制理论方法需要大量迭代来确定有效的资源分配计划，如果虚拟机(VM)频繁中断，这可能会导致额外成本。此外，基于ML的方法使云系统能够从历史数据中学习特定领域知识以优化资源分配。然而，在现实世界的云环境中，很难收集足够的训练数据来支持基于ML的方法。因此，这些基于云的软件服务资源分配的经典方法可能不太适合具有可变工作负载和服务请求的现实世界云环境。

发明内容

本发明的目的在于提供一种面向负载-时间窗口的基于DQN云软件资源自适应分配方法，

为实现上述目的，本发明的技术方案是：一种面向负载-时间窗口的基于DQN云软件资源自适应分配方法，包括如下步骤：

步骤S1、通过历史运行数据构造DQN模型的训练集，训练集包括某时刻的负载时间窗口、虚拟机资源配置、系统QoS值以及该时刻的目标资源分配方案，根据训练集，使用DQN算法训练管理操作Q值预测模型，管理操作Q值预测模型可以评估不同系统状态下管理操作的Q值；

步骤S2、在运行时，使用步骤S1中得到的管理操作Q值预测模型，根据当前负载时间窗口、当前虚拟机资源配置以及相应的QoS，预测不同管理操作的Q值，然后，通过比较不同管理操作的Q值来选择管理操作；重复上述过程，通过反馈迭代逐步找到目标资源分配方案。

在本发明一实施例中，步骤S1中，使用DQN算法训练管理操作Q值预测模型的具体实现方式如下：

首先，随机初始化网络参数；其次，使用DQN算法对每条训练数据管理操作的Q值进行评估，训练过程持续，直到遍历完成所有训练集；第三，根据训练数据初始化s_cur，如果初始状态s_cur不是目标状态s_obj，则根据当前的Q值使用∈-greedy算法从动作空间A中选择一个动作a；然后，通过使用公式(1)计算动作a的奖励r；生成下一步对应的状态，用s′表示；如果执行动作a后，状态不属于合法状态范围，则跳过本轮训练；第四，使用mini-batch方法从重放内存中随机收集示例，并根据损失函数训练DQN来更新神经网络的权重和偏差；每K步更新一次神经网络的参数；然后，s_cur被s′替换，状态转换发生；最后，神经网络持续更新，直到所有数据集都训练完成；