[发明专利]一种D2D环境下基于深度强化学习的交接卸载方法及装置

权利要求书

1.一种D2D环境下基于深度强化学习的交接卸载方法，其特征在于，所述D2D环境下基于深度强化学习的交接卸载方法包括：

建立可同时实现用户之间D2D卸载，基站之间任务交接的边缘计算卸载环境，并初始化用户和基站的随机位置关系，建立用户到用户，以及基站到基站的信道状态关系，并确定D2D卸载与基站交接卸载机制；

基于建立的边缘计算卸载环境，确定卸载动作的构成，建立卸载动作与卸载环境互动的关系；所述建立卸载动作与卸载环境互动的关系包括：根据卸载动作确定用户到用户、用户到基站的卸载关系以及基站到基站的交接关系；

根据卸载动作与卸载环境互动的关系，计算卸载开销，以卸载开销作为需要优化的目标，构建强化学习四元组；并根据卸载开销设置奖励与惩罚项；

基于构建的强化学习四元组以及奖励与惩罚项，采用预设的深度强化学习算法，实现D2D环境下的交接卸载，并最小化所有用户时延与能耗的加权和。

2.如权利要求1所述的D2D环境下基于深度强化学习的交接卸载方法，其特征在于，所述卸载环境为一半径为R的圆形空间，所述卸载环境内有用户M个，基站K个，各用户和基站均匀分布于所述圆形空间中；

信道状态包括距离、带宽、信道传输功率与噪声功率谱密度；其中，各个设备之间的距离为d；所述卸载环境中每一种互联关系的传输带宽与传输功率假定为常量；用户间的传输带宽为B_d2d，用户到基站之间的传输带宽为B_mobile，基站之间的传输带宽为B_base；用户之间的传输功率为P_d2d，用户到基站之间的传输功率为P_mobile，基站之间的传输功率为P_base；环境中的噪声功率谱密度为n₀；

各设备的计算能力如下设置：用户本地计算能力为f_local，基站计算能力为f_base。

3.如权利要求2所述的D2D环境下基于深度强化学习的交接卸载方法，其特征在于，所述D2D卸载与基站交接卸载机制包括：

用户的卸载动作包括本地卸载、D2D卸载以及基站卸载；本地卸载中，用户用自身计算资源对自身产生的计算任务进行计算；D2D卸载中，通信距离有阈值限制，其阈值为d_th，超出阈值则无法进行D2D卸载；若D2D卸载的目标用户已经进行了本地卸载，则D2D卸载失败，当无法进行D2D卸载或D2D卸载失败时，需再传输回源用户进行本地卸载，作为对错误选择目标用户的惩罚；

基站的交接动作包括交接卸载任务至其他基站，以减轻单个基站卸载压力；其中，基站每次交接的任务至多为一项，以防止给其他基站带来过多负荷；在卸载行为结束后，每个基站对各自所最终接收的任务平均分配计算资源。