[发明专利]一种用于移动边缘云计算中资源分配的方法

说明书

本发明公开了一种用于移动边缘云计算中资源分配的方法，该方法基于两级串联队列系统，利用强化学习算法深度确定性策略梯度来学习最优的计算资源分配策略，通过使用门控循环单元来捕捉两个处理队列之间的关联关系，同时考虑了移动边缘云计算网络的复杂动态性，且不限制计算任务迁移请求的到达时间满足特定的分布，因此，本发明提出的移动边缘云计算网络资源分配方法，在强化学习训练完成后，能够自动地根据请求的到达和资源变化来分配合理的计算资源以满足端到端延迟的需求，这对于实现在端设备运行复杂的应用程序并节省计算资源至关重要。

技术领域

本发明属于移动边缘计算技术领域，具体涉及一种用于移动边缘云计算中资源分配的方法。

背景技术

随着云计算，物联网技术，边缘计算的快速发展及广泛应用，越来越多的企业或者个人开始在研究项目中使用边缘或云服务器来处理一些端设备无法完成的计算密集型任务，由于边缘计算处于新兴状态，所以部署成本很高，云服务的收费模式通常有两种，按时间收费和按资源使用量收费，使用不当会造成极大的资源浪费。

把移动设备上的计算任务迁移到云服务器或边缘服务器上最重要的一个指标就是端到端延迟，如果该延迟没法保证，那么计算迁移在很多情况下就是毫无意义的，甚至可能会产生严重的后果。因此有很多研究者提出了保证服务质量(quality of service)的计算迁移方法，这些方法都是通过建立多目标优化来获得最终的分配策略，考虑到的指标有服务时间，能量消耗，功率分配等。有些研究者使用传统的数学方法来解决多目标非凸优化问题，例如定义为混合整数线性规划，混合整数非线性规划，博弈，然后用迭代，启发式，分解的方法来解决。但是这些方法缺乏泛化性，限制条件较多，特别是当问题规模较大时可能无法找到解。

发明内容

为解决上述背景技术中提出的问题，本发明提供一种用于移动边缘云计算中资源分配的方法，以解决现有技术中无法保证端到端的延迟，现有方法缺乏泛化性，限制条件多的问题。

为实现上述目的，本发明提供如下技术方案：

一种用于移动边缘云计算中资源分配的方法，包括以下步骤：

S1：环境中包括串联队列系统，串联队列系统包括边缘处理队列和云处理队列，计算迁移请求分为两个过程并连续生成，第一个过程由边缘处理队列中的服务器处理，而第二个过程由云处理队列中的服务器处理；

S2：初始化控制器；

S3：构建强化学习网络结构，网络结构包括：Actor网络、Critic网络和经验重放缓冲区；

S4：在Actor网络中，将一个边缘处理队列和一个云处理队列的长度向量的序列转换为二维张量作为输入数据，引入门控循环单元捕捉输入数据中边缘处理队列和云处理队列的关联关系后，输出关系的二维张量，并将关系的二维张量重塑为一维张量送入第一个全连接神经网络DNN，第一个全连接神经网络DNN使用函数ReLU激活后输出动作；

S5：在Critic网络中将环境的状态的张量重塑为一维张量；

S6：将环境的状态的一维张量送入第二个全连接神经网络DNN，并使用ReLU函数激活得到第一个输出；

S7：将Actor网络中输出动作送入第三个全连接神经网络DNN提取特征后使用ReLU函数激活得到第二个输出；

S8：使用连接层将第一个输出和第二个输出并排连接，送入最后一个全连接神经网络DNN，输出对Actor网络输出的动作进行评估的线性组合函数并获得训练好的预测模型；

S9：接收到线性组合函数和获得训练好的预测模型后，控制器依据状态、动作和奖励以更新自己的网络参数和分配策略，根据请求数量和可用的计算资源自动地调整计算资源的分配以适应延迟需求。

优选地，S9中的状态、动作和奖励具体为：