[发明专利]基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质

说明书

本发明公开了一种基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质，方法为：将移动设备的能量收集时间、任务卸载大小、任务卸载时间、CPU频率联合作为计算任务卸载策略变量，基于移动设备的计算任务大小、运算能力、通信信道特点以及计算任务卸载策略变量，构建移动设备收集的能量计算模型和消耗的能量计算模型，两者相减得到移动设备在各时隙的剩余能量计算模型；对所有移动设备所有时隙的剩余能量求和，得到移动边缘计算系统的剩余能量计算模型；将移动边缘计算系统的剩余能量作为优化目标，采用深度强化学习方法，通过最大化优化目标，计算得到各移动设备的计算任务卸载决策。本发明提高移动设备用户的应用体验。

技术领域

本发明涉及无线传能的移动边缘计算网络中的多个用户设备的卸载策略问题，具体涉及一种基于深度强化学习的无线传能移动边缘计算网络资源分配与计算卸载方法、系统、设备及介质。

背景技术

随着移动设备和移动通信的爆炸性发展，新的移动应用不断出现。许多对延迟敏感的应用程序，如视频通信、AR、VR等，严重依赖于无线设备的实时通信和计算。然而，大多数移动设备的计算能力较低，电池容量有限，而且无法满足当前应用程序对资源的巨大需求，这将是一个关键的挑战。

移动边缘计算是近年来出现的一种很有前途的解决方案，它可以将资源有限的移动设备从计算密集型的任务中解脱出来，使设备能够将工作负载迁移到附近的移动边缘计算服务器上，提高计算体验的质量。

深度强化学习是谷歌一团队提出的一种算法框架。其中,强化学习对于实时决策任务是一种可行的选择，它可以在复杂环境中，针对一系列变化的环境状态，输出一系列对应的行动，达到需要优化的目标；深度学习作为一种无模型和数据驱动的方法，以减少计算复杂度的可用训练输入和输出。深度强化学习将深度学习和强化学习结合在一起，可以提供更快的收敛速度，对于多用户系统更加高效。

发明内容

本发明提供一种基于深度强化学习的无线传能移动边缘计算网络资源分配与计算卸载方法、系统、设备及介质，在满足用户时延要求的前提下，根据剩余能量最大化的原则，共同优化能量收集时间、任务卸载大小、任务卸载时间和CPU频率，对计算任务进行卸载处理，提高移动设备用户的应用体验。

为实现上述技术目的，本发明采用如下技术方案：

一种基于深度强化学习的资源分配与计算卸载方法，边缘服务器基站覆盖范围内的移动设备，可通过无线传能系统从边缘服务器收集能量，还可将计算任务部分卸载到边缘服务器，所述基于深度强化学习的资源分配与计算卸载方法包括以下步骤：

步骤1，将移动设备的能量收集时间、任务卸载大小、任务卸载时间、CPU频率联合作为计算任务卸载策略变量，基于移动设备的计算任务大小、运算能力、通信信道特点以及计算任务卸载策略变量，构建移动设备收集的能量计算模型和消耗的能量计算模型，两者相减得到移动设备在各时隙的剩余能量计算模型；

步骤2，对所有移动设备所有时隙的剩余能量求和，得到移动边缘计算系统的剩余能量计算模型；

步骤3，采用深度强化学习方法求解各移动设备的计算任务卸载决策，使得移动边缘计算系统的剩余能量最大。

进一步的，移动设备收集的能量计算模型表示为：

其中，E_i,j为第j个移动设备在第i个时隙收集的能量；M为移动边缘计算网络中的移动设备数量，j为其中任一移动设备的编号；M为移动边缘计算网络进行资源分配与计算卸载的周期内所划分的时隙数量，i为其中任一时隙的编号；v_j为第j个移动设备的能量转换效率，为发射接入点在第i个时隙到第j个移动设备的下行信道增益，为在第i个时隙发射接入点到第j个移动设备的传输功率，为第j个移动设备在第i个时隙的能量收集时间；上标a表示下行；

移动设备消耗的能量计算模型表示为：