[发明专利]一种基于深度强化学习算法的移动sink路径规划方法

权利要求书

1.一种基于深度强化学习算法的移动sink路径规划方法，其特征在于，包含以下步骤：

步骤1：将无线传感器网络区域近似为一个正方形区域，并做栅格化处理，形成N*N个大小相等的正方形栅格；

步骤2：无线传感器节点随机散布在网络区域内，每个栅格内随机分布有预设数量的传感器节点，并且假设每个栅格内传感器节点携带的数据类型相同；

步骤3：在每个栅格内选举出一个汇聚节点，sink收集所在栅格内汇聚节点的数据；

步骤4：根据每个栅格内数据的时延要求及网络能效对栅格内数据进行优先级划分；

步骤5：将栅格化的网络模型映射为一个RGB图像，不同的颜色代表不同的优先级；

步骤6：将RGB图像作为状态输入到深度卷积神经网络中，以训练深度卷积神经网络；

步骤6.1：构建一个多层卷积神经网络，其中包括输入层、4层卷积层、改进的全连接层和输出层，其中，将传统的全连接层分为两部分，分别计算出状态价值及动作优势，并将两者相加作为输出Q值；

步骤6.2：移动sink在当前状态s下，从可行动作值列表中随机选取一个动作值并执行该动作，得到完成动作后的奖励值r以及网络的下一状态s′，获得样本值(s,a,r,s′)；持续采集样本，并存储在经验回放存储器中，形成样本集D，a为动作值；

步骤6.3：构建两个网络：深度卷积神经网络和目标深度卷积神经网络，并初始化权重，在样本集D中随机采样样本(s,a,r,s′)，将状态s以RGB图像的形式输入到深度卷积神经网络中，并计算出所有可行动作的Q值，并将对应的s′输入到目标深度卷积神经网络中计算出对应的最大Q值；

步骤6.4：不断迭代，更新深度卷积神经网络和目标深度卷积神经网络的参数，达到收敛后，得到训练好的网络参数；

步骤7：将网络状态映射为RGB图像后输入到训练好的深度卷积神经网络中，得到sink的最优路径。

2.如权利要求1所述的基于深度强化学习算法的移动sink路径规划方法，其特征在于，在步骤1中，规划的无线传感器网络的区域大小为100*100m，划分为10*10个单元格。

3.如权利要求1所述的基于深度强化学习算法的移动sink路径规划方法，其特征在于，在步骤6中，通过深度卷积神经网络对不同颜色特征进行学习和识别；深度强化学习算法更新公式为Q(s,a)＝r+γ(max(Q(s′,a′))),其中，s表示当前状态，a表示当前采取的动作值，r表示采取动作a之后获得的奖励值，s′表示在当前状态s下采取动作值a后得到得下一状态值，a′为当前状态的下一动作值；γ为折扣因子。