[发明专利]一种基于深度强化学习的计算卸载和资源分配方法

权利要求书

1.一种基于深度强化学习的计算卸载和资源分配方法，其特征在于，包括以下步骤：

步骤1、初始化计算卸载模型，将周期e和时隙t设置为0；其中，所述计算卸载模型由多个无线设备、基站和移动边缘服务器组成，无线设备在每个时隙t内随机产生任务，将所述任务通过基站卸载到移动边缘服务器上执行；

步骤2、初始化主神经网络参数θ和目标神经网络参数θ’，初始化状态s；其中，所述状态s包括：每个时隙t内，每个无线设备与基站之间的时变通道状态、每个无线设备与基站之间的信噪比和无线设备产生的任务；

步骤3、智能体与环境做互动，根据贪婪策略执行动作a，获得奖励r，并收集下一状态s’；

步骤4、如果样本缓冲池溢出，则将四元组s,a,r,s’顺序存放入样本缓冲池M；否则，将s,a,r,s’随机存放入样本缓冲池，替换样本；

步骤5、随机从样本池中采样m个样本，进行训练；同时计算目标函数和损失函数；

步骤6、利用梯度下降法更新主网络参数θ，同时到达预设周期进行参数复制，即θ’←θ；

步骤7、如果得到最优策略且当前周期e小于最大周期E_max，则返回步骤1，并设置e←e+1；如果没有得到最优策略，则返回步骤2，并设置t←t+1。

2.如权利要求1所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，步骤2中，所述时变通道状态H_m,w(t)采用如下公式表示：

其中，ρ_c为正则化的相关系数，t’为时间间隔，e_c(t)为错误变量，服从均值为0的复高斯分布。

3.如权利要求2所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，步骤2中，信噪比ζ_w(t)采用如下公式表示：

其中，P_m,w为无线设备与基站之间的传输功率，a_w和h_m,w分别是矩阵A和H的第w列，H是M×W通道矩阵，A是与H相关的迫零线性检测器矩阵。

4.如权利要求3所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，步骤2中，WD产生的任务表示为：

A_w(t)≡(ts_w(t),c_w(t),T_w,max(t))

其中，ts_w(t)是WD w的计算任务的输入大小，且计算任务的输入大小服从泊松分布，c_w(t)是完成无线设备的计算任务所需的CPU周期数，并且T_w,max(t)是完成计算任务的截止日期。

5.如权利要求1或4所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，步骤3中，所述每个时隙的动作a由两部分做出，即无线设备的任务卸载比例α_w和资源分配比例β_w，其范围为[0,1]。

6.如权利要求5所述的基于深度强化学习的计算卸载和资源分配方法，其特征在于，奖励r为加权的全局代价的负值，定义为：

r＝-C(t)＝-ω₁·C_d(t)-ω₂·[C_m(t)+C_b(t)]-P_w

其中，C_d(t)为总延迟，C_m(t)为总能耗，C_b(t)为总的带宽代价，ω₁、ω₂为权重系数，满足ω₁+ω₂＝1，P_w为无法在截止时间内完成任务的惩罚。