[发明专利]一种无线携能D2D网络的联合资源分配方法

权利要求书

1.一种无线携能D2D网络的联合资源分配方法，其特征在于：包括如下步骤：

步骤1、构建一个无线携能D2D网络模型，宏基站将M个资源块RB分配给M个蜂窝用户，N对D2D用户复用蜂窝用户的资源块RB，并且不同的D2D用户复用同一资源块，同时，配有能量收集电路的D2D用户还会对功率分流比例进行控制；

步骤2、每对D2D用户获取信道状态信息以及收集到的能量状况，根据D2D能效构建效用函数；

步骤3、建立马尔科夫决策过程，确定状态空间、动作空间以及奖励函数；

步骤4、采用MADDPG算法进行D2D用户网络更新；

步骤5、当经验池D中的样本达到设定数量后，从经验池D中采样批次数据进行网络训练；

步骤6、智能体根据确定性策略梯度和Critic估计网络中得到的Q函数，来更新Actor估计网络；

步骤7、重复步骤5和步骤6，每隔一定迭代次数，通过软更新的方法更新Actor目标网络和Critic目标网络中的参数。

2.根据权利要求1所述的一种无线携能D2D网络的联合资源分配方法，其特征在于：所述的步骤2中，具体为：占用第m个资源块的蜂窝用户的信干噪比SINR表示为

其中表示宏基站到蜂窝用户的发射功率，表示宏基站到蜂窝用户的信道增益，α_m表示资源块分配索引，α_m＝1表示D2D用户复用第m个资源块，否则α_m＝0，表示D2D用户的发射功率，表示D2D用户的信道增益，δ²表示噪声功率；

占用第m个资源块的蜂窝用户的数据速率表示为

复用第m个资源块的第n对D2D用户的SINR表示为

其中表示功率分流系数,表示复用资源块m的其他D2D用户的发射功率，表示复用资源块m的其他D2D用户的信道增益；配有能量收集电路的D2D用户收集到的能量表示为

其中ε表示能量收集效率系数，且D2D总能效EE表示为

其中P_cir表示D2D电路消耗功率，N表示D2D用户个数。

3.根据权利要求2所述的一种无线携能D2D网络的联合资源分配方法，其特征在于：所述的步骤3中，将N个D2D对看做智能体，表示为N＝{1,2...n...N}，其中第n对D2D用户表示为智能体n，每对D2D用户在t时刻的状态空间表示为其中G_t表示D2D用户自身信道增益，表示采用相同资源块的其他D2D用户对当前D2D的干扰信号，表示采用相同资源块的蜂窝用户对当前D2D的干扰信号，E_t表示t时刻D2D用户剩余的能量；

每对D2D用户在t时刻的动作空间表示为a_t＝{d_t，λ_t}，其中d_t表示D2D用户在时刻t复用的资源块，λ_t∈(0,1)表示D2D用户在时刻t选择的功率分流比；将D2D总能效作为奖励函数，表示为r_t＝EE(d_t，λ_t)。