[发明专利]一种集能型无线中继网络吞吐量最大化方法

摘要

一种基于深度确定性策略梯度的集能型无线中继网络吞吐量最大化方法，包括以下步骤：1)集能型无线中继网络中通过可再生能量优化管理实现最大吞吐量，其中，优化问题描述为一个多变量优化问题；2)将问题P1分解为两部分优化：功率子优化和时隙子优化，即深度确定性策略梯度方法优化变量pi和来得到最优的ri。本发明提供一种在集能型无线中继网络中通过联合时间调度和功率分配实现以最大吞吐量最大化系统效益的方法。

主权项

1.一种基于深度确定性策略梯度的集能型无线中继网络吞吐量最大化方法，其特征在于：所述方法包括以下步骤：1)集能型无线中继网络中通过可再生能量优化管理实现最大吞吐量，其中，优化问题描述为一个多变量优化问题：P1：受限于：(约束条件1)(约束条件2)(约束条件3)(约束条件4)(约束条件5)在此，问题P1的各参数定义如下：pi：中继节点在时隙i的传输功率；ri：中继节点在时隙i的数据率；τi：源节点在时隙i的传输时间；中继节点在时隙i的传输时间；ui：源节点在时隙i的数据率；hi：中继节点到目的节点的信道增益；Ei：中继节点在时隙i时所采集的能量；Emax：中继节点的电池最大容量；Qmax：中继节点的数据缓存容量；L：单个时隙长度；T：传输时隙数；W：网络带宽；2)将问题P1分解为两部分优化：功率子优化和时隙子优化，即通过优化变量p_i和来得到最优的r_i，其中，通过深度确定性策略梯度方法来优化中继节点在各时隙i上的传输功率p_i和传输时间从而最终决定问题P1中各时隙i的数据率r_i之和的最大化；该深度确定性策略梯度方法由执行单元，评分单元和环境所组成，所有的传输功率p_i和传输时间都被编进了执行单元所需的状态x_t，执行单元在当前状态下采取动作a对传输功率p_i和传输时间进行更改并进入下一个状态x_t+1，同时得到环境返回的奖励r(x_t，a)，评分单元结合状态x_t，动作a以及环境返回的奖励r(x_t，a)给执行单元打分，即表明执行单元在状态x_t下采取动作a是好是坏；执行单元的目标就是让评分单元所打的分越高越好，而评分单元的目标是让自己每次打出的分都接近真实，这可以通过奖励r(x_t，a)来调节；在执行单元，评分单元和环境不断交互更新下，传输功率p_i和传输时间将不断被优化直到被更新到最优，评分单元的更新方式为：S(xt，a)＝r(xt，a)+γS′(xt+1，a′)    (3)其中，各参数定义如下：xt：在时刻t，系统所处状态；xt+1：在时刻t+1，系统所处状态；a：在当前状态执行单元所采取的动作；a′：在下一状态执行单元所采取的动作；S(xt，a)：执行单元中的评估网络在状态xt下采取动作a所得到的分值；S′(xt+1，a′)：执行单元中的目标网络在状态xt+1下采取动作a′所得到的分值；r(xt，a)：在状态xt下采取动作a所得到的奖励；γ：奖励衰减比重；3)所有的传输功率p_i和传输时间作为深度确定性策略梯度方法的状态x_t，动作a则是对状态x_t的更改，更改后系统在各时隙i的数据率r_i之和会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(x_t，a)设为正值，反之设为负值，同时系统进入下一状态x_t+1。