[发明专利]基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质

权利要求书

1.一种基于深度强化学习的资源分配与计算卸载方法，其特征在于，边缘服务器基站覆盖范围内的移动设备，可通过无线传能系统从边缘服务器收集能量，还可将计算任务部分卸载到边缘服务器，所述基于深度强化学习的资源分配与计算卸载方法包括以下步骤：

步骤1，将移动设备的能量收集时间、任务卸载大小、任务卸载时间、CPU频率联合作为计算任务卸载策略变量，基于移动设备的计算任务大小、运算能力、通信信道特点以及计算任务卸载策略变量，构建移动设备收集的能量计算模型和消耗的能量计算模型，两者相减得到移动设备在各时隙的剩余能量计算模型；

步骤2，对所有移动设备所有时隙的剩余能量求和，得到移动边缘计算系统的剩余能量计算模型；

步骤3，采用深度强化学习方法求解各移动设备的计算任务卸载决策，使得移动边缘计算系统的剩余能量最大。

2.根据权利要求1所述的方法，其特征在于，移动设备收集的能量计算模型表示为：

其中，E_i,j为第j个移动设备在第i个时隙收集的能量；M为移动边缘计算网络中的移动设备数量，j为其中任一移动设备的编号；M为移动边缘计算网络进行资源分配与计算卸载的周期内所划分的时隙数量，i为其中任一时隙的编号；v_j为第j个移动设备的能量转换效率，为发射接入点在第i个时隙到第j个移动设备的下行信道增益，为在第i个时隙发射接入点到第j个移动设备的传输功率，为第j个移动设备在第i个时隙的能量收集时间；上标a表示下行；

移动设备消耗的能量计算模型表示为：

式中，为第j个移动设备在第i个时隙消耗的能量，为第j个移动设备自身在第i个时隙执行计算任务消耗的能量，为第j个移动设备在第i个时隙将任务卸载到边缘服务器所消耗的能量；R_i,j为第j个移动设备在第i个时隙的计算任务大小，第j个移动设备在第i个时隙卸载到边缘服务器的任务大小，C_j表示第j个移动设备处理1bit输入数据需要的cpu周期，P_i,j是第j个移动设备的cpu每周期在第i个时隙的能量消耗；为第i个时隙从第j个移动设备到边缘服务器基站的信道增益；为第j个移动设备第i个时隙的任务卸载时间；表示在第i个时隙从第j个移动设备到边缘服务器基站的传输功率，上标m表示上行。

3.根据权利要求2所述的方法，其特征在于，将移动边缘计算系统的剩余能量作为优化目标可表示为优化问题P1：

其中为第j个移动设备时隙i的剩余能量，通过最大化优化目标求解各移动设备的计算任务卸载决策的约束条件包括：

C1:

C2:

C3:

C4:

C5:

C6:

C7:

C8:

4.根据权利要求3所述的方法，其特征在于，在采用深度强化学习方法最大化移动边缘计算系统的剩余能量求解之前，先将当前非凸的问题P1化简为凸形的问题P5，具体为：

(1)为了满足第二个约束条件，取T为最大可用计算时间时，最佳的CPU频率为当所有任务都卸载到边缘服务器时，不需要本地计算，满足第一个和第六个约束条件。故将移动设备的CPU频率f_i,j取值为将问题P1转化为如下问题P2为:

其中约束条件为：

C3:

C4:

C5:

C7:

C8:

(2)为了得到最佳的任务分配时间和能量收集时间，根据约束令则得到以下问题P3为:

其中满足以下约束条件：

C4:

C7:

C8:

C9:

(3)由于中的f_i,jT为常数项，故将问题P3进一步简化为以下问题P4为：

其中，为中带有变量的非常数项，满足与问题P3相同的约束条件；

通过卡罗需-库恩-塔克条件点来寻找最优解的性质，将问题P4的目标函数转化为只有一个未知向量的多项式形式，并相应地减少约束条件得到以下问题P5：

满足以下约束条件：

C4:

C8: