[发明专利]一种基于深度强化学习的资源分配方法及装置

权利要求书

1.一种基于深度强化学习的资源分配方法，其特征在于，应用于边缘微云系统的控制平台，所述边缘微云系统还包括多个微云，每个微云包括多个计算节点，所述方法包括：

确定用户的应用程序请求中包含的多种待分配资源的服务，以及各服务的分配优先级；

确定当前边缘微云系统的状态参数，所述状态参数包括资源均衡度评估参数，响应延迟评估参数，以及每个微云中各个计算节点的资源剩余量；

将所述状态参数输入预先训练完成的资源均衡优化模型，得到第一服务的第一目标计算节点；所述第一服务为当前分配优先级最高的服务；所述资源均衡优化模型是基于深度强化学习训练完成的，其中，深度强化学习的训练集包括：边缘微云系统的样本状态参数；

将所述第一服务部署于所述第一目标计算节点；

更新所述状态参数，并返回将所述状态参数输入预先训练完成的资源均衡优化模型的步骤，直到所述应用程序请求中包含的每种待分配资源的服务均完成资源分配；

所述资源均衡优化模型按照如下步骤进行训练：

获取预设的神经网络模型和所述训练集；

将所述样本状态参数输入所述神经网络模型，得到服务放置动作；所述服务放置动作表示为样本服务确定所放置的目标计算节点；

基于所述服务放置动作，对所述样本状态参数进行更新，得到更新后的样本状态参数；

基于所述样本状态参数中包含的资源均衡度评估参数，响应延迟评估参数，以及所述更新后的样本状态参数中包含的资源均衡度评估参数，响应延迟评估参数，计算本次服务放置动作的奖励值；

将所述样本状态参数，所述更新后的样本状态参数，本次服务放置动作，以及所述本次服务放置动作的奖励值，代入预设的损失函数，计算本次服务放置动作的损失值；

根据所述损失值确定所述神经网络模型是否收敛；

若否，则调整所述神经网络模型中的参数值，并返回将更新后的样本状态参数输入所述神经网络模型，得到服务放置动作的步骤；

若是，则将当前的神经网络模型确定为资源均衡优化模型。

2.根据权利要求1所述的方法，其特征在于，基于如下公式计算所述资源均衡度评估参数：

其中，RUV_i^j表示第i个微云中第j个计算节点的资源利用方差，D表示资源的种类数，表示第i个微云中第j个计算节点中第d类资源的资源利用率，表示第i个微云中第j个计算节点中所有种类资源的资源利用率的平均值，X表示资源分配策略，RBR_i^j表示第i个微云中第j个计算节点的资源均衡率，RUBD_i表示第i个微云的资源利用均衡度，L_i表示第i个微云中计算节点的总数，RUBD_Total表示所述边缘微云系统的资源均衡度评估参数，K表示所述边缘微云系统中微云的总数；

基于如下公式计算所述响应延迟评估参数：

t_Total＝T_Comp(X)+T_TR(X)

t_Total表示响应延迟评估参数，T_Comp(X)表示计算延迟，T_TR(X)表示传输延迟。

3.根据权利要求1所述的方法，其特征在于，所述损失函数为：

其中，L表示损失函数，E[]表示数学期望，n表示每次迭代所参考的历史迭代数据的组数，t表示时刻，表示t时刻之后n组历史迭代数据的优先级权重，r_t⁽ⁿ⁾表示t时刻后n次迭代的奖励值之和，表示针对t时刻后n次迭代奖励值的衰减因子，Q_target表示目标网络，Q_eva表示估计网络，s_t表示时刻t的样本状态参数，a_t表示时刻t的服务放置动作，s_t+n表示迭代n次后的样本状态参数，a′表示使估计网络输出最大值的服务放置动作，k表示迭代序号，表示针对t时刻后第k次迭代奖励值的衰减因子，r_t+k+1表示t时刻后第k次迭代的奖励值。