[发明专利]一种用于移动边缘云计算中资源分配的方法

权利要求书

1.一种用于移动边缘云计算中资源分配的方法，其特征在于，包括以下步骤：

S1：环境中包括串联队列系统，串联队列系统包括边缘处理队列和云处理队列，计算迁移请求分为两个过程并连续生成，第一个过程由边缘处理队列中的服务器处理，而第二个过程由云处理队列中的服务器处理；

S2：初始化控制器；

S3：构建强化学习网络结构，网络结构包括：Actor网络、Critic网络和经验重放缓冲区；

S4：在Actor网络中，将一个边缘处理队列和一个云处理队列的长度向量的序列转换为二维张量作为输入数据，引入门控循环单元捕捉输入数据中边缘处理队列和云处理队列的关联关系后，输出关系的二维张量，并将关系的二维张量重塑为一维张量送入第一个全连接神经网络DNN，第一个全连接神经网络DNN使用函数ReLU激活后输出动作；

S5：在Critic网络中将环境的状态的张量重塑为一维张量；

S6：将环境的状态的一维张量送入第二个全连接神经网络DNN，并使用ReLU函数激活得到第一个输出；

S7：将Actor网络中输出动作送入第三个全连接神经网络DNN提取特征后使用ReLU函数激活得到第二个输出；

S8：使用连接层将第一个输出和第二个输出并排连接，送入最后一个全连接神经网络DNN，输出对Actor网络输出的动作进行评估的线性组合函数并获得训练好的预测模型；

S9：接收到线性组合函数和获得训练好的预测模型后，控制器依据状态、动作和奖励以更新自己的网络参数和分配策略，根据请求数量和可用的计算资源目动地调整计算资源的分配以适应延迟需求。

2.根据权利要求1所述的一种用于移动边缘云计算中资源分配的方法，其特征在于，S9中的状态、动作和奖励具体为：

状态：状态定义为串联队列系统中边缘处理队列和云处理队列在每个时间步开始时的长度，即状态s＝(q₁，q₂)；

动作：动作为数值向量，动作用于决定边缘处理队列和云处理队列中服务器的计算速度，即a＝μ_θ(s)，并采用深度确定性策略梯度算法来实现速度的控制；

奖励：奖励用于反映在[t，t+T]的时间间隔内所采取的动作a_t对环境造成的影响，并评估该动作的收益，用A_t表示在时间间隔[t，t+T]内所到达的计算迁移请求集合A_t＝{co₁，co₂，...，co_n}，对于每一个计算迁移任务，端到端延迟不超过最大可容忍延迟，即超过d_max，由此得到计算立即奖励的函数：

d_n表示集合A_t中的计算迁移任务n的端到端延迟；

总奖励函数为：

根据奖励函数得到优化目标函数：

该期望值用来限制端到端延迟和所使用的总资源量。

3.根据权利要求1所述的一种用于移动边缘云计算中资源分配的方法，其特征在于，在S4的输出动作中添加一个随机噪声。

4.根据权利要求1所述的一种用于移动边缘云计算中资源分配的方法，其特征在于，计算迁移请求和对应的服务时间数据通过伽马分布生成的，该数据将作为串联队列系统的输入数据。

5.根据权利要求1所述的一种用于移动边缘云计算中资源分配的方法，其特征在于，在S4中，将ReLU函数通过一个全连接层，用双曲正切函数激活，输出的范围在-1到1之间。