[发明专利]一种基于深度强化学习的水下联合中继选择和功率分配方法

权利要求书

1.一种基于深度强化学习的水下联合中继选择和功率分配方法，其特征在于，所述方法包括：

创建拓扑结构，包括一个源节点u、N个候选中继节点r₁,r₂···r_N和一个目的节点d；

广播信号给候选中继节点和目的节点，同时源节点根据状态信息进行中继选择和功率分配；

选中的中继节点转发信号给目的节点；

所述目的节点将状态信息反馈给源节点；

采用深度强化学习方法，使所述源节点不断与环境进行交互得到所需状态信息，通过策略优化离线学习的方式，使所述源节点在试错中学习到经验用于决策，包括：

源节点获取环境状态信息

源节点根据获得的状态信息输入神经网络，做出采取的决策行动a，作用于环境；

源节点选择的动作作用于环境后，环境把整个拓扑的信干噪比作为奖赏r反馈给源节点，同时环境从当前时刻状态s转移到下一时刻的状态s’，把(s,a,r,s’)放入内存D中；

使用RNN网络训练网络参数，包括：

步骤一，初始化回放内存记为D；

步骤二，使用循环神经网络RNN来拟合状态行动值函数Q，并随机初始化参数θ；

步骤三，使用RNN网络来拟合目标状态行动值函数Q^，网络结构同Q网络，初始化权重参数θ^-＝θ；

步骤四，设定训练轮数用Episode表示，使其等于M；

步骤五，初始化网络输入序列s₁；

步骤六，以ε的概率随机选择动作a_t，或者a_t＝arg max_aQ(s_t,a,θ)；

步骤七，源节点执行动作a_t，观察奖赏r_t并得到下一个时刻的状态s_t+1；

步骤八，把(s_t,a_t,r_t,s_t+1)放入D中；

步骤九，随机从D中采样minibatch个样本，表示为(s_j,a_j,r_j,s_j+1)；

步骤十，计算每一个状态的目标值，并更新；如果在j+1步，Episode＝M，则y_j＝r_j，否则y_j＝r_j+γmax_a'Q^(s_j+1,a'；θ^-)，γ为折扣因子；

步骤十一，梯度下降(y_j-Q^(s_j,a_j'；θ^-))²，更新网络参数θ；

步骤十二，每隔c步，使Q^＝Q；

步骤十三，当Episode小于M，返回执行步骤五。

2.根据权利要求1所述的基于深度强化学习的水下联合中继选择和功率分配方法，其特征在于，所述创建拓扑结构的步骤中还包括水下节点的分布设计和水下环境的模拟；

所述水下节点的分布设计为水下节点随机分布在规定范围内；

所述水下环境的模拟包括水下信道增益和水下环境噪声。