[发明专利]一种基于深度强化学习的移动边缘计算卸载方法

权利要求书

1.一种基于深度强化学习的移动边缘计算卸载方法，其特征在于，包括以下步骤：

步骤1.构造深度卷积神经网络；

步骤2.在t时刻，将用户当前任务到达速率，用户当前任务数、用户和移动边缘服务器的信道状态、移动边缘服务器和核心网的信道状态作为当前系统状态；

s_t＝[l_k(t)，g_k，q(t)，g_q，c(t)]

其中，k为用户编号，q为边缘服务器编号，l_k(t)为用户k需要处理的任务量；g_k,q(t)为用户k和边缘服务器q之间的信道状态；g_q,c(t)为边缘服务器q和核心网之间的信道状态；

步骤3.在t时刻，用户以1-ε的概率根据状态s_t所对应的最大状态动作值函数Q值选择动作a_t，以ε的概率随机选取其他动作，其中，贪婪因子ε为0～1常数；

其中，为任务在本地进行处理的功率，为任务在用户k和移动边缘服务器q进行传输的功率，为任务在移动边缘服务器q进行传输的功率，为移动边缘服务器q处理用户k卸载的任务的功率，α_q(t)为任务在移动边缘服务器q处理的权重；

步骤4.执行动作之后根据公式(1)计算当前奖励值r_t：

其中，为用户在本地处理的任务大小，m为用户卸载到移动边缘服务器端的任务大小，P_k(m)为用户k向移动边缘服务器卸载m个比特任务的概率，α_q为任务在移动边缘服务器q处理的权重，C^user、C^mec和C^cloud分别为任务在本地、移动边缘服务器端以及核心网处理的能耗，ω为任务未在时间限制内处理完的惩罚；

步骤5.用户获取下一时刻状态s_t+1；

步骤6.将t时刻的经验(s_t,a_t,r_t,s_t+1)放入经验池D中；

步骤7.随机从经验池D中抽取样本对卷积神经网络的权重参数θ进行更新，根据公式(2)计算损失函数：

其中，Q_T为目标Q值，其计算方式如公式(3)所示，Q(s,a,θ)为当前Q值；

其中，r为奖励，γ折扣因子为0～1常数，s′为跳转的下一个动作，a′为在状态s′下执行的动作；

步骤8.根据公式(2)计算损失函数的梯度：

步骤9.采用随机梯度下降法，使得梯度值最小，更新神经网络的权重参数；

步骤10.根据环境变化，用户重复步骤3～9，直到用户学习到稳定的动作选择策略。

2.如权利要求1所述一种基于深度强化学习的移动边缘计算卸载方法，其特征在于，步骤1中的深度卷积神经网络由一个输入层、两个卷积层、一个全连接层以及一个输出层构成；输入层用于输入系统当前的状态；卷积层用于提取特征；全连接层和输出层结合来构成一个深层网络。