[发明专利]一种基于深度强化学习的移动边缘计算卸载方法

说明书

本发明属于无线通信领域，具体涉及一种基于深度强化学习的移动边缘服务器的任务卸载方法。假定用户具有移动性的情况下，本发明通过对用户移动性建模和推导任务在不同端处理速率来达到优化系统卸载能耗最小的目的。本发明采用深度强化学习算法来解决任务在本地端、移动边缘服务器端进行处理的功率分配问题，从而改善系统最小能耗。本发明优化了系统的最小计算能耗，以进一步提高系统的性能。对比传统方案，本发明方法收敛速度快，性能更好，更加突显其实际应用价值。

技术领域

本发明属于无线通信领域，具体涉及一种基于深度强化学习的移动边缘服务器的任务卸载方法。

背景技术

移动边缘计算通过将环境中的基站部署在更加接近终端设备的位置，从而减少数据传输所带来的时间延迟和能量消耗，以满足短时间内处理大量移动用户数据量的需求，保障用户的使用体验和服务质量。在移动边缘计算网络中进行计算卸载，需要遵循卸载策略。场景图1示意。目前主要的任务卸载优化算法有博弈算法、凸优化算法、动态规划算法等。然而，这些方法计算复杂度大，造成了一定程度上的资源浪费。强化学习用于学习不同信道状态下的任务卸载策略可以获得优于传统方法的性能，但传统的强化学习算法在状态集和动作集维度大的情况下，其学习速度会快速下降。移动边缘服务器任务卸载的方案还需要进一步优化。

发明内容

针对现有技术的问题，本发明公开了一种基于深度强化学习的移动边缘计算卸载方法，采用深度强化学习算法来处理任务在本地端、移动边缘服务器端进行处理的功率分配问题，通过使系统计算能耗最小，解决了在用户具有移动性的情况下，移动边缘服务器任务卸载的优化问题。

本发明技术方案：

一种基于深度强化学习的移动边缘计算卸载方法，其特征在于，包括以下步骤：

步骤1.构造深度卷积神经网络

步骤2.在t时刻，将用户当前任务到达速率，用户当前任务数、用户和移动边缘服务器的信道状态、移动边缘服务器和核心网的信道状态作为当前系统状态

s_t＝[l_k(t)，g_k，q(t)，g_q，C(t)]

其中，k为用户编号，q为边缘服务器编号，l_k(t)为用户k需要处理的任务量；g_k,q(t)为用户k和边缘服务器q之间的信道状态；g_q,c(t)为边缘服务器q和核心网之间的信道状态

步骤3.在t时刻，用户以1-ε的概率根据状态s_t所对应的最大状态动作值函数Q值选择动作a_t，以ε的概率随机选取其他动作，其中，贪婪因子ε为0～1常数；

其中，为任务在本地进行处理的功率，为任务在用户k和移动边缘服务器q进行传输的功率，为任务在移动边缘服务器q进行传输的功率，为移动边缘服务器q处理用户k卸载的任务的功率，α_q(t)为任务在移动边缘服务器q处理的权重。

步骤4.执行动作之后根据公式(1)计算当前奖励值r_t：

其中，为用户在本地处理的任务大小，m为用户卸载到移动边缘服务器端的任务大小，P_k(m)为用户k向移动边缘服务器卸载m个比特任务的概率，α_q为任务在移动边缘服务器q处理的权重，C^user、C^mec和C^cloud分别为任务在本地、移动边缘服务器端以及核心网处理的能耗，ω为任务未在时间限制内处理完的惩罚。

步骤5.用户获取下一时刻状态s_t+1；